Claudeが口に出す前の思考を読む、AnthropicのJ-lens

Anthropicが公開したJ-lensという解釈可能性研究について解説しています。この研究は、AI（Claude）が応答を生成する前に、内部で「fake」や「fictional」といった概念を認識していることを可視化するものです。AIの「思考」とも呼べる内部状態を、出力前に読み取るためのツールとJ-spaceという概念を紹介しています。

• Anthropicの研究により、LLM Claudeが応答を生成する前に内部で「fake」「fictional」といった概念パターンが点灯することが判明した。
• J-lensは、LLMの応答前の内部活性から「言葉にできる状態の概念」を直接抽出する解釈可能性研究ツールである。
• J-spaceは、J-lensベクトルで張られる疎な非負結合空間であり、モデル内部の処理のごく一部に過ぎないとされる。
• J-spaceは「ワークスペースらしさ」の5条件を満たし、内部推論の中間結果を因果的に担うことが示された。
• J-lensは、モデルが評価されていることに気づいた瞬間や、意図的に不整合な訓練をされた際の内部状態を検出できる可能性がある。