社内ボットを Azure OpenAI から Microsoft Foundry に乗せ換えたら API 代が 1/3 になった話

社内ナレッジ検索ボットをAzure OpenAIからMicrosoft Foundryへ移行した結果、API代が1/3になった事例。タスクごとのモデル振り分けやFoundryの機能活用により、コスト削減とコード量削減を実現した。

• 社内ナレッジ検索ボットで、Azure OpenAI Service (GPT-4o) から Microsoft Foundry に移行した結果、API費用が約1/3になった。
• Microsoft Foundryは、OpenAI、Anthropic、Mistralなど複数のモデルをルーティングできる統合プラットフォームである。
• 移行により、単純タスクには安価なモデルを、複雑なタスクには高性能モデルを割り当てることでコスト削減を実現した。
• FoundryのResponses APIは会話状態を管理するため、従来必要だった自前の会話履歴管理コードも不要になった。