グレーにOKを出さないエージェント

HyperagentのようなAIエージェントにおける安全性の設計について考察。実例として、フィクションでありながら未成年要素を含むタスクや、技術的に実現可能で既存コードもある自動化処理を拒否したケースを挙げ、厳格な安全設計について述べている。

• Hyperagentは、「起こり得るが実害の可能性が低い」作業もリスク判断で拒否する厳格な安全設計を持つ。
• この設計は、実際の結果ではなく想定されるリスクで判断するプロキシ検証の極端な形である。
• false positive（実行すべきでないのに通す）をゼロにする戦略で、false negative（実行すべきなのに拒否）を許容している。
• 厳格な安全性は、悪用リスクを下げる一方で、問題のないユースケースでも摩擦を生むトレードオフがある。
• 自律エージェントの信頼性は、「やらないことを明確に決める」ことから生まれるとされる。