BM25：コーディングエージェントのトークンを30%削減する方法

arXivの研究によると、BM25は大規模なコードデータセットにおいて、従来のembedding手法よりも優れた性能を示しました。コーディングエージェントの前にBM25による検索を挟むことで、トークン数を30％削減できる可能性が示されています。

• arXivの論文によると、大規模なコード検索ではBM25がベクトル埋め込みより優れているとされる。
• BM25を用いた事前検索により、コーディングエージェントのトークン消費量を最大30%削減できる。
• 従来、AIエージェントがコードベースを探索するよりも、BM25による検索の方がトークン効率が良い。
• コードのチャンク化とBM25インデックスの構築が、効率的なコード検索の鍵となる。