【実測】日本語は英語の何倍のトークンを使う？対訳50文を2世代のトークナイザーで数えた


「日本語はトークンを多く消費する」——AIの料金や文字数制限の話でよく聞く説ですが、実際に何倍なのかを示すデータは意外と見つかりません。そこで当ラボで測ってみました。同じ意味の英日対訳50文を5つのジャンルで用意し、公開されているトークナイザー2世代でトークン数を数えた結果です。数字はすべて本記事のための実測で、手順も公開するので誰でも再現できます。

実験の方法

対訳50文（日常会話・ビジネスメール・技術・ニュース・手順説明の5ジャンル×各10文）を用意し、オープンソースのトークナイザー実装（js-tiktoken）で、o200k_base（GPT-4o世代）とcl100k_base（GPT-4世代）の2つのエンコーディングのトークン数を数えました。文はすべて自然な対訳になるよう作成しています。トークナイザーはモデルごとに異なるため、この結果は「この2方式での実測値」であり、他社モデルでは比率が変わり得ます。

結果1：日本語は英語の1.63倍（新世代）〜2.26倍（旧世代）

50文合計のトークン数は次のとおりでした。

エンコーディング英語 合計日本語 合計日本語/英語
o200k_base（新世代）4948071.63倍
cl100k_base（旧世代）5001,1322.26倍

1文あたりの中央値でも新世代1.60倍・旧世代2.20倍で、合計とほぼ一致します。文単位のばらつきは新世代で1.00〜2.63倍でした。つまり「日本語だから常に2倍」ではなく、文の種類によってかなり幅があるのが実態です。

結果2：差が最も大きいのは「技術文書」


ジャンル別に見ると、日常会話が最も差が小さく（新世代1.37倍）、技術文書が最も大きい（同1.97倍、旧世代では2.69倍）という結果になりました。「トークナイザー」「ファインチューニング」のようなカタカナ技術用語が細かく分割されるためと考えられます。AIに技術的な内容を日本語で長く書かせると、体感以上にコストがかさむ理由がここにあります。

結果3：新世代トークナイザーで日本語のハンデは大幅に縮小

今回の実測でいちばん重要な発見はこれです。旧世代（cl100k）では日本語1文字≒1トークン（実測0.98文字/トークン）でしたが、新世代（o200k）では1トークンあたり1.37文字まで改善しました。英語は約5.0文字/トークンで両世代ほぼ同じなので、改善の恩恵はほぼ丸ごと非英語圏のものです。トークナイザーの世代交代は地味ですが、日本語ユーザーの実質コストを4割近く下げた計算になります。

おまけ：5言語ミニ比較

同じ10文を5言語で用意し、新世代エンコーディングで数えた結果です（英語=1.00）。

言語合計トークン対 英語比
英語971.00
中国語1101.13
スペイン語1181.22
韓国語1461.51
日本語1591.64

10文の小規模比較なので参考値ですが、この中では日本語が最も「トークン高コスト」な言語でした。

実務への示唆3つ

  • 料金の見積もり：日本語運用のAPIコストは、英語の見積もりの約1.5〜2倍で見ておくと安全です。
  • コンテキストの実効量：コンテキストウィンドウも同じ理屈で目減りします。「10万トークン」は日本語では英語より短い文章量です。
  • 削るなら定型敬語から：ビジネス文の差（1.50倍）の一部は長い定型表現です。AIへの指示文では「です・ます」を簡潔にするだけでもトークンは着実に減ります。

実験の限界

正直に書いておきます。①測ったのは2つの公開エンコーディングのみで、各社の最新モデルのトークナイザーとは異なります。②対訳の訳し方によって数値は多少動きます。③50文は傾向を見るには十分ですが、統計的に厳密な標本ではありません。それでも「日本語は英語の約1.5〜2倍強」というレンジは、複数の切り口で一貫していました。

よくある質問（FAQ）

Q1. 自分でも再現できますか？

できます。npmで公開されている js-tiktoken を使い、任意の対訳文で encode した長さを比べるだけです。実装の出典はOpenAIのtiktoken（オープンソース）です。

Q2. どのAIサービスでも同じ比率ですか？

いいえ。トークナイザーはモデルごとに違うため比率は変わります。ただ「日本語が英語より多くなる」傾向自体は広く共通です。契約前に各社の料金ページとトークン計算ツールで確認してください。

Q3. トークンの基本から知りたいです。

先日の解説記事「トークンとは？」をどうぞ。本記事はその実測編です。

AI学びラボの関連記事：トークンとは？AIの料金と文字数制限を決める単位 ・ コンテキストウィンドウとは？ ・ 生成AIに課金すべき？

コメント

コメントを投稿

このブログの人気の投稿

OpenAI公式の「AI資格」は今取れる？無料コース3つと本試験の現在地【2026年版】

イメージ
「OpenAIが自分の名前で資格を出すらしい」——2025年12月の発表以来、AI学習者の間で注目されてきたOpenAI Certificationsが、2026年に入って少しずつ形になってきました。ただし「今すぐ受験できる正式試験」があるわけではありません。この記事では、現時点で実際に受けられるものと、まだ準備中のものを分けて整理します。 OpenAI Certificationsとは OpenAIが2025年12月9日に発表した公式の学習・認定プログラムです。同社は「2030年までに1,000万人のアメリカ人を認定する」という目標を掲げ、教育プラットフォームのCoursera、テスト開発のETS、デジタルバッジのCredly by Pearsonと組んで制度を設計しています。単発の講座ではなく、 学習コース→修了証→監督付きの認定試験 という段階構造が想定されているのが特徴です。 今すぐ受けられる：無料コース OpenAI Academy（academy.openai.com）では、無料のセルフペース型コースが公開されています。よく挙げられるのは次の3つです。 AI Foundations ：LLMの基礎とChatGPTの基本操作を学ぶ入門コース Applied AI Foundations ：日々の業務ワークフローにAIを組み込む方法 Agents and Workflows ：AIエージェントに複数ステップの作業を任せる方法 ChatGPTの無料アカウントがあれば受講でき、修了すると共有可能な修了証（Credlyのデジタルバッジ）が発行されます。分量は軽めで、集中すれば数時間〜1日で終えられる規模です。座学中心の動画講座ではなく、ChatGPTの画面上で実際に手を動かしながら進む設計になっているのも特徴で、「読んだだけで終わる」学習になりにくい点は評価できます。 「本試験」はまだパイロット段階 一方、ETSと共同開発している監督付きの正式な認定試験は、WalmartやAccenture、Boston Consulting Group、John Deere、Lowe'sといった提携企業・団体でのパイロット運用にとどまっています。一般向けの受験日程や公式試験ガイドは、この記事の執筆時点（2026年9月）ではまだ発表されていま...
続きを読む

CompTIA SecAI+とは？初のAIセキュリティ資格を解説——試験内容・難易度・日本語受験【2026年版】

イメージ
「AIを守る」スキルを証明する資格が、ついに大手ベンダーから登場しました。CompTIAが2026年2月17日に開始した SecAI+（試験コード CY0-001） は、大手IT資格ベンダーの認定として初めて「AIセキュリティ」に特化した試験です。生成AIの業務利用が当たり前になる一方で、AIシステムそのものを狙う攻撃や、社内エージェントの無防備な運用が問題になっています。この記事では、SecAI+の試験内容・対象者・学習の進め方を、公式情報に基づいて整理します。 SecAI+とは何か SecAI+は、 AIシステムを安全に運用するためのセキュリティスキル を認定するCompTIAの新資格です。これまでのAI資格の多くは「AIを使う・作る」側の知識を問うものでしたが、SecAI+は「AIを守る」側に軸足を置きます。AIモデルへの敵対的攻撃（アドバーサリアル攻撃）への対処、AIを使ったセキュリティ運用の自動化、そしてAIガバナンスまでを一つの試験で扱うのが特徴です。 試験の基本情報（公式発表） 試験コード ：CY0-001（2026年2月17日提供開始） 問題数・時間 ：最大60問・60分。選択式に加えて実技型（パフォーマンスベース）問題を含む 合格基準 ：100〜900のスケールで600点 提供言語 ：英語と 日本語 ——日本から受けやすいのは大きな利点です 受験料は公式ストアで最新価格を確認してください。CompTIA資格は地域や為替で価格が変わることがあります。 出題範囲は4分野 サイバーセキュリティにおけるAIの基礎概念（17%） ——AIの原理とAI由来の脅威 AIシステムのセキュリティ確保（40%） ——モデルとデプロイ環境の防御、敵対的リスクの軽減 AIを活用したセキュリティ運用（24%） ——検知・自動化・運用テクニック AIガバナンス・リスク・コンプライアンス（19%） ——規制枠組みと倫理的な導入 配点の4割を占める「AIシステムのセキュリティ確保」が中心です。プロンプトインジェクションやデータ汚染など、AI特有の攻撃手法の理解が問われます。 対象者と推奨経験 CompTIAは IT実務3〜4年、うちセキュリティ実務2年以上 を推奨しています。Security+、CySA+、PenTest+など既存のセキュリティ資格（または同等...
続きを読む

エージェント型AIとは？仕組みと活用例を初心者向けにわかりやすく解説

イメージ
「エージェント型AI（エージェンティックAI）」という言葉を、ニュースやSNSで目にする機会が急に増えていませんか？ChatGPTのような「質問に答えるAI」の次に来るのが、 自分で考えて行動するAI 、つまりAIエージェントです。この記事では、専門用語をできるだけ使わずに、エージェント型AIの仕組みと活用例をわかりやすく解説します。 エージェント型AIとは何か？ エージェント型AI（Agentic AI）とは、 目標を与えると、達成までの手順を自分で計画し、ツールを使いながら実行するAI のことです。従来のチャットAIとの違いは「行動するかどうか」にあります。 従来のチャットAI ：質問 → 回答（1回のやりとりで完結） エージェント型AI ：目標 → 計画 → 検索・実行・修正 → 結果報告（複数ステップを自律的に実行） たとえば「来週の大阪出張のホテルを予算1万円で探して比較表にして」と頼むと、検索し、条件で絞り込み、表にまとめるところまで自動で進めてくれるイメージです。 なぜ2026年に注目されているのか 理由は大きく3つあります。第一に、AIモデルの推論能力が向上し、複数ステップの作業でも間違いが減ったこと。第二に、AIが外部ツール（ブラウザ、表計算、メールなど）を安全に操作する仕組みが整ってきたこと。第三に、企業が実務での導入を始め、「調査」「資料作成」「事務処理」などで成果が出始めたことです。 身近な活用例 情報収集の自動化 ：複数サイトを調べて要約レポートを作成 事務作業 ：請求書の整理、メールの下書き、スケジュール調整 学習サポート ：教材を読み込み、自分専用の問題集や暗記カードを作成 プログラミング ：仕様を伝えると、コードを書き、テストし、修正まで実行 利用時の注意点 便利な一方で、AIエージェントは間違った情報をもとに行動してしまうこともあります。 重要な判断（お金・契約・個人情報）は必ず人間が最終確認する のが大原則です。また、AIに渡す情報の範囲（アクセス権限）を必要最小限にすることも大切です。 よくある質問（FAQ） Q1. チャットGPTとエージェント型AIは何が違うの？ チャットGPTは「対話」が中心ですが、エージェント型AIは対話に加えて「計画と実行」を行います。最近はChatGPT自体にもエージェント機能が組み込まれつつあり、両...
続きを読む