皆が気にしているトークン使用量の「トークン」を掘り下げてみた

LLMにおける「トークン」の概念を解説。トークンはテキストの基本単位であり、使用量にはユーザー入力（input）とLLM出力（output）の両方が含まれる。システムプロンプトや会話履歴もinputトークンにカウントされることを説明。

• LLMにおける「トークン」の概念を、テキストの基本単位として解説している。
• トークン使用量には、ユーザー入力（input）とLLM出力（output）の両方が含まれることを説明している。
• システムプロンプトや会話履歴もinputトークンとしてカウントされることを具体的に示している。
• LLMのコストや性能を理解する上で、トークンの内訳とカウント方法の理解が重要であることを示唆している。