はじめに
生成AIを使っていると「トークン」という言葉を目にすることがあります。料金プランの説明や、AIエージェントのコストリスクを理解するうえでも欠かせない概念ですが、きちんと説明を受ける機会は意外と少ないです。原稿用紙のマス目をイメージすると理解しやすくなります。
トークンとは、AIにとっての「文章の最小単位」
トークンとは、生成AIが文章を読んだり書いたりする際に扱う、文字のかたまりの単位です。日本語の場合はおおむね1〜2文字程度、英語の場合は単語の一部（例えば “running” が “run” と “ning” のように分割される）が、だいたい1トークンに相当します。
生成AIは、文章をそのまま「文字」として処理しているのではなく、一度この「トークン」という単位に分解してから処理しています。原稿用紙に文章を書くとき、1マスに1文字を書いていくのと同じように、生成AIも「トークン」という決まったマス目に文章を分解して扱っている、とイメージすると近いです。
なぜトークンという考え方が必要なのか
生成AIのサービスの多くは、「入力した文章（プロンプト）」と「AIが生成した回答」の両方について、トークン数に応じて課金される仕組みになっています。長い指示を出したり、長い回答を求めたりするほど、消費するトークンは増え、その分コストもかかります。
さらに、生成AIには一度に処理できるトークン数の上限（コンテキストウィンドウと呼ばれます）があります。この上限を超えると、それ以上の文章を一度に読み込ませることができません。原稿用紙のマス目に限りがあるのと同じで、トークンにも「一度に使える量」に限界がある、ということです。
日本語は英語よりトークンを多く消費しやすい
実務上、意外と見落とされがちなポイントが、日本語は英語に比べてトークンを多く消費しやすい、という点です。英語は単語単位でまとまりやすく、1トークンあたりの情報量が大きい傾向にあるのに対し、日本語は1〜2文字程度で1トークンになることが多く、同じ内容を伝えるのに、より多くのトークンを消費してしまう傾向があります。
これは、同じ文章量でも日本語で使う方が、英語で使うよりもコストがかさみやすい、ということを意味します。長文のレポート作成や大量の文書を読み込ませるような使い方をする場合は、この違いを頭に入れておくと、想定外のコスト増に気づきやすくなります。
実務での注意点
トークンという考え方を理解しておくと、次のような場面で役に立ちます。
- [プロンプト](https://marimoblog.biz/what-is-a-prompt/)が長くなりすぎると、それだけでトークン消費とコストが増える。必要な情報を過不足なく、簡潔に伝える工夫が重要
- 長い資料をまるごと読み込ませる使い方は、コンテキストウィンドウの上限に引っかかったり、コストが膨らんだりしやすい
- [AIエージェント](https://marimoblog.biz/ai-agent-vs-generative-ai/)のように、1つの依頼に対してAIが何度もやり取りを繰り返す使い方では、トークン消費が積み重なりやすいため、利用上限の設定がとくに重要になる
料金プランやコストの見積もりを検討する際は、「何回使うか」だけでなく、「1回あたりどのくらいのトークンを消費する使い方なのか」まで考慮しておくと、精度の高い見積もりができます。
まとめ
トークンは、生成AIが文章を処理する際の最小単位であり、料金や処理できる文章量の上限に直結する重要な概念です。日本語は英語よりトークンを消費しやすい傾向があることや、プロンプトの長さ・AIエージェントのような自律的な使い方がコストに与える影響を理解しておくことで、生成AIをコスト面でも安全に使いこなせるようになります。
執筆者プロフィール：SIer（元請け）とITコンサルファーム（発注側支援）、両方の立場でプロジェクトに従事（通算9年）。要件定義からベンダーマネジメントまで一貫して対応し、基幹システム刷新・DX推進プロジェクトに多数従事。
コメント