AIが大好きな「最小限の修正」を繰り返すとなぜソフトは壊れるのか

AIがソフトウェア修正で「最小限の修正」を選択する戦略について、変更量が小さいこととシステム全体への影響が小さいことは同義ではないと指摘。数式を用いて、この戦略がソフトウェアを破壊する可能性を考察している。

• AIがソフトウェア修正を依頼される際、しばしば「最小限の修正」が選択されるが、これはシステム全体への影響を必ずしも小さくしない。
• ソフトウェアには、データ整合性、状態遷移、API契約など、修正と直接関係ない不変条件が存在する。
• 局所的に「最小限の修正」を繰り返すと、これらの不変条件に対する微小な誤差が累積し、システム全体が制約から乖離する可能性がある。
• 動的なシミュレーションでは、モデルに含まれる微小な差分が反復適用によって増幅され、予期せぬ挙動を引き起こすことがある。
• コード上の「差分が小さい」ことと、システムの振る舞い上の「意味が近い」ことは異なり、AIにはこの意味的な距離を理解させる必要がある。