トークンカウンター
GPT・Claude・Gemini対応の無料トークンカウンター。テキストを貼り付けるだけで、おおよそのトークン数に加えて文字数、単語数、1トークンあたりの文字数がわかります。計算はブラウザ内で行われ、貼り付けた内容が送信されることはありません。
トークンカウンターの使い方
- 01テキストを貼り付ける
プロンプト、ドキュメント、コード、チャット履歴などを入力すると、入力に合わせて数値が更新されます。
- 023つのトークン数を見る
GPT、Claude、Geminiは分割方法が異なるため、同じテキストでもトークン数はそれぞれ変わります。
- 031トークンあたりの文字数を確認
英文は約4です。記号が独立したトークンになるため、コードやJSONはこれより低くなります。
- 04モデルを選ぶ
選んだモデルに応じて、コンテキストウィンドウの使用率と参考値としての入力コストが変わります。
- 05見積もり前に確認する
請求に関わる数値は、結果の下にあるリンクから各提供元の公式カウンターで確認してください。
例
計算式
テキストを区間に分け、区間ごとに数えます。5文字までの単語は1トークン、それを超えると3文字ごとに1トークン追加。数字は3桁ずつ、連続する記号は2文字ずつまとめ、CJKは1文字あたり約0.7トークンとして計算します。その合計に提供元ごとの比率を掛けます。英文については、1トークンあたり約4文字、または1単語あたり約1.33トークンという2つの目安がほぼ同じ結果になります。
トークン数 ≈ Σ(区間コスト) × 提供元の比率よくある質問
このトークンカウンターの精度はどのくらいですか?
これは推定値であり、正確な数値ではありません。英文では実際の値との差がおおむね10%以内、コードやJSONでは15%以内、中国語・日本語・韓国語では20%以内に収まります。プロンプトの規模を把握したり請求額を確認したりするには十分ですが、請求に直結する数値は各提供元のカウンターで確認してください。
1単語は何トークンですか?
英文ではおおよそ1単語あたり1.33トークン、1トークンあたり約4文字です。短くよく使われる単語はたいてい1トークンですが、長い単語や珍しい単語は複数に分割されます。記号、改行、インデントもトークンを消費するため、コードやJSONは通常の文章よりかなり密になります。
GPT、Claude、Geminiで数値が異なるのはなぜですか?
提供元ごとに異なる語彙でトークナイザーを学習させているため、同じ文でも分割のされ方が変わります。差はおおむね10%程度ですが、コード、英語以外のテキスト、独特な書式では広がります。またモデルの世代が変わるとトークナイザーも変わることがあり、アップグレード時に数値が動く場合があります。
貼り付けたテキストはどこかに送信されますか?
いいえ。計算はすべてブラウザ内の文字ベースのモデルで行われ、サーバーにもモデル提供元にも送信されません。推定値にとどまるのもそのためです。正確に数えるには、大きなトークナイザー辞書を読み込むか、提供元のAPIにテキストを送る必要があります。
コストにモデルの応答が含まれないのはなぜですか?
貼り付けたテキストからわかるのは入力側だけです。出力の長さは依頼内容とモデルの応答次第で決まり、出力トークンは入力トークンの数倍の料金になるのが一般的です。応答の長さを仮定するのではなく、入力コストのみを表示しています。料金は頻繁に変わるため、表示される価格はすべて参考値として扱ってください。
最終更新 . 提供: Tooligan.