本番環境におけるAIエージェントのトークンバジェットとレートリミットの仕組み

AIエージェントのトークン予算とレート制限の実際の運用について解説。セッション、時間、組織レベルでの支出制限と、プロバイダーによるスループット制限の組み合わせにより、予期せぬループが多額の費用を発生させる可能性がある。

• AIエージェントの運用において、トークンバジェットとレートリミットは、予期せぬ高額請求を防ぐための重要な仕組みである。
• トークンバジェットは、セッション、時間、組織レベルでAIのトークン消費量の上限を設定する。
• レートリミットは、APIプロバイダー（Anthropic, OpenAIなど）がスループット（リクエスト数やトークン数）を制限する。
• 暴走したAIエージェントループは、短時間で予算を使い果たす可能性があるため、これらの制限が不可欠である。
• レートリミットヘッダー（retry-after, x-ratelimit-remaining-tokensなど）は、APIへの過負荷を防ぐためにエージェントコードが利用できる。