ローカルLLMとは?
ローカルLLMとは、クラウドのAPIを使わず、自社サーバーや手元のPCで動かすLLMのこと。データを外部に送信しないため機密性が高く、公開されているオープンモデルの性能向上により、実用的な選択肢として広がっています。
実務での使い方
採用する主な理由は、①機密データを社外に出せない(医療・金融・法務など)②従量課金のAPIコストを固定化したい③オフライン環境で使いたい、の3つです。MetaのLlamaやGoogleのGemmaなどのオープンモデルを、OllamaのようなツールでPCでも手軽に試せます。
一方で、最上位のクラウドモデルには性能で及ばないことが多く、GPUなどの機器コストと運用の手間もかかります。「学習に利用されない設定の法人契約やAPIで十分ではないか」をまず検討し、それでも要件を満たせない場合の選択肢と考えるのが現実的です。
もっと詳しく学ぶ
- 生成AI APIのコスト管理入門｜料金の仕組みとトークン削減の実務
生成AI APIの料金は「トークン数×単価」の従量課金。課金の仕組み、月額コストの見積もり手順、モデル選定・プロンプトキャッシュ・バッチ処理による削減の定石を実…