トークンとは？AIの料金と文字数制限を決める単位をやさしく解説

生成AIの説明を読んでいると、必ず出てくるのが「トークン」という言葉です。「入力は最大◯◯万トークンまで」「料金は100万トークンあたり◯ドル」——なんとなく文字数のことだろうと流している人が多いのですが、正確には少し違います。トークンを理解すると、AIの料金体系、文字数制限、そして「会話の途中で前の内容を忘れる」現象まで、一気に見通しがよくなります。

トークン＝AIが文章を数える単位

AIは文章を1文字ずつでも1単語ずつでもなく、「トークン」という細切れの単位で処理します。パンにたとえると、文章という長いバゲットを、AIが食べやすい大きさにスライスしたものがトークンです。よく使われる単語は1枚のスライスに、珍しい単語は数枚に分かれます。

たとえば英語では「cat」のような頻出単語は1トークンですが、専門用語は「un / believ / able」のように分割されることがあります。この分割ルールはAIごとに異なり、同じ文章でもモデルが違えばトークン数も変わります。

日本語は英語よりトークンを消費しやすい

トークンの区切り方は、モデルの学習データに多く登場した文字列ほど効率よくまとまります。英語中心に作られたモデルでは、日本語は同じ内容でも英語より多くのトークンを消費する傾向があります。近年のモデルは日本語の効率が大きく改善していますが、「日本語は割高になりやすい」という傾向は知っておいて損がありません。おおまかな目安として、日本語では1文字が1トークン前後になることが多い、と考えておくとよいでしょう（モデルによって差があります）。

なぜ料金がトークン単位なのか

AIの計算コストは、処理するトークンの数にほぼ比例します。だからAPIの料金は「100万トークンあたり◯ドル」のような形になっています。ここで重要なのは、入力（読ませる文章）と出力（書かせる文章）の両方が課金対象だという点です。長い資料を読ませて短い要約をもらう作業は、出力は安くても入力側で意外とトークンを使っています。

文字数制限と「忘れる」現象の正体

「このAIは○○万トークンまで扱える」という上限が、いわゆるコンテキストウィンドウです。会話が長くなってウィンドウに収まらなくなると、古いやり取りから押し出されていきます。長い会話の途中でAIが最初の指示を忘れたように見えるのは、多くの場合この仕組みによるものです。長い作業では、重要な前提を時々まとめ直して再提示するのが実務的な対策です。

トークンを意識すると得すること

• プロンプトの無駄が減る：不要な前置きや重複した指示を削るだけで、処理が速く安定しやすくなります。
• 有料プランやAPIの比較ができる：「上限トークン数」と「トークン単価」を見れば、サービスの実質的な性能と価格を比べられます。
• 長文作業の設計がうまくなる：資料を分割して読ませる、要約を挟むなど、ウィンドウを意識した使い方ができます。

よくある質問（FAQ）

1トークンは何文字ですか？

固定の換算はありません。英語ではおおよそ1単語が1〜2トークン、日本語では1文字が1トークン前後になることが多い、という程度の目安で十分です。正確な数はモデルごとの変換ツールで確認できます。

トークン数はどうやって確認できますか？

多くのAI事業者が、文章を貼り付けるとトークン数を表示する無料ツール（トークナイザー）を公開しています。「利用しているモデル名＋tokenizer」で検索してみてください。

チャット版でもトークンを気にする必要がありますか？

月額制のチャット版では料金を直接気にする必要はほぼありません。ただし文脈の上限はチャット版にもあるので、「長い会話では古い内容から忘れられる」ことだけは覚えておくと便利です。

AI学びラボの関連記事：コンテキストウィンドウとは？AIが会話を「忘れる」仕組み ・ 推論モデルとは？「考えてから答えるAI」の仕組み ・ 小規模言語モデル（SLM）とは？オンデバイスAIをやさしく解説