LLM トークン・コンテキスト見積もり
プロンプトを貼り付けるとトークン数と残りコンテキスト容量を即座に試算できます。数値は推定で、モデルのトークナイザーにより結果は異なります。
ブラウザ内でローカルに実行プロンプトまたはメッセージのテキスト
入力と出力をまとめて計画する
コンテキストの上限には通常、システム指示、会話履歴、ツールメッセージ、プロンプトテキスト、生成出力が含まれます。プロバイダー固有のフレーミングやトークナイザーの違いに備えて安全マージンを確保してください。
プロンプトを貼り付けるとトークン数と残りコンテキスト容量を即座に試算できます。数値は推定で、モデルのトークナイザーにより結果は異なります。
ブラウザ内でローカルに実行コンテキストの上限には通常、システム指示、会話履歴、ツールメッセージ、プロンプトテキスト、生成出力が含まれます。プロバイダー固有のフレーミングやトークナイザーの違いに備えて安全マージンを確保してください。
送る予定のプロンプトやメッセージを貼り付け、数え方のプロファイルを選ぶと、入力の推定サイズ、リクエストが占める計画合計、コンテキストウィンドウの残りが表示されます。
見積もりは入力するたびにページ内で再計算されます。テキストはブラウザの外に出ず、接続がなくても動作します。
「バランス型テキスト」はラテン文字や数字をおおよそ 4 文字で 1 トークンとし、句読点と空白に小さな重みを加えます。「コード中心」は文字をより密に(1 トークンあたり約 3.35 文字)数え、句読点の重みを高くします。「多言語」は UTF-8 のバイト数(1 トークンあたり約 3.15 バイト)を出発点にし、CJK 文字をほぼ 1 文字 1 トークンとして数えます。絵文字はどのプロファイルでも約 2 トークンです。
実測例では、「Hello world」はバランス型で 3 トークン、コード中心と多言語では 4 トークン。一方「你好、世界」は 15 バイトにすぎないのに 5 トークンと見積もられます。文字数よりプロファイルの選択が大きく影響します。
計画合計 = 入力の推定 + 出力予約 + メッセージオーバーヘッド。デフォルト値(ウィンドウ 128,000、予約 4,096、オーバーヘッド 12)では、「Hello world」は入力 3 トークン・計画合計 4,111 トークン、残り 123,889 トークンで、バーはウィンドウの 3.2% にとどまります。
計画がウィンドウの 85% を超えるとバーは黄色になり、長い回答が入りきらない可能性を知らせます。計画トークンがウィンドウを上回ると赤色の「超過」表示になります。
この数字は文字・文字種・バイト数に基づくヒューリスティックで、モデルが実際に使う語彙ではありません。トークナイザーごとに分割方法が異なり、モデルのバージョンごとに語彙も違います。予算が厳しいときは実際のリクエストをプロバイダーのカウンターと比べてください。
プロンプトと一緒に送られるシステム指示、会話履歴、ツールメッセージ分の余製を残し、予定する回答に足りる出力トークンを確保しましょう。