コンテキストウィンドウとは?
コンテキストウィンドウとは、LLMが一度に扱える情報量(トークン数)の上限のこと。会話の履歴・入力した文書・出力がすべてこの枠に収まる必要があり、超えた分は忘れられるか、エラーになります。
実務での使い方
近年のモデルは10万〜100万トークン級のコンテキストウィンドウを持ち、書籍1冊分の文書を丸ごと読ませることも可能になりました。ただし入力が多いほど料金は増え、長文の中間部分の情報は見落とされやすいという性質も報告されています。
実務では「大きいから全部入れる」ではなく、必要な部分だけを渡す設計が品質・コストの両面で有利です。長い資料は事前に分割・要約する、会話が長くなったら要点をまとめて新しい会話を始める、といった運用が効果的です。
この用語に関連する無料ツール
もっと詳しく学ぶ
- 生成AI APIのコスト管理入門｜料金の仕組みとトークン削減の実務
生成AI APIの料金は「トークン数×単価」の従量課金。課金の仕組み、月額コストの見積もり手順、モデル選定・プロンプトキャッシュ・バッチ処理による削減の定石を実…