Transformer(トランスフォーマー)とは?

Transformer(トランスフォーマー)とは、文中の語どうしの関係性に注目する「アテンション機構」を核とするニューラルネットワーク構造のこと。2017年にGoogleが発表し、GPTやClaudeなどほぼすべてのLLMの基盤になっています。

実務での使い方

Transformerの登場で、文章を順番に処理していた従来方式より大規模な並列学習が可能になり、文脈理解の精度が飛躍しました。ChatGPTの「GPT」はGenerative Pre-trained Transformerの略で、名前にこの技術がそのまま入っています。

ビジネス実務者が内部の数式を理解する必要はありませんが、LLMがトークン単位で文章を処理し、入力全体の関係性を計算していることを知っておくと、「なぜ入力が長いほど料金と処理時間が増えるのか」「コンテキストウィンドウの上限がなぜあるのか」を説明できるようになります。