Anthropic 开源神经网络追踪工具，可生成归因图

6月2日消息，Anthropic公司现已正式开源了其新一代的神经网络追踪（CircuitTracing）工具，旨在帮助研究人员深入解析大模型的内部推理机制。据悉，该工具可生成一系列“归因图（AttributionGraphs）”以展示AI模型处理提示词的具体过程，便于开发者进一步观察、微调模型。此外，Anthropic还与DecodeResearch团队合作推出了Neuronpedia前端平台，用户可以在网页上直接与相应归因图进行互动。平台还提供了“示例笔记本”，展示如Gemma-2-2b和Llama-3.2-1b等模型的内部运作方式，鼓励用户尝试各种提示词，比较不同模型的具体行为。
Anthropic公司首席执行官DarioAmodei指出，大模型的“可解释性”已成为业界共同关注的课题，这套神经网络追踪工具将促进社区参与度，有助于开发者加快对大模型行为逻辑的理解。