GPT を、直感からコードまで理解する。

著者: Wayland Zhang

この日本語版は、オリジナルの中国語版『Transformer 架构：从直觉到实现』の動画シリーズと書籍を底本に、日本語の技術読者にとって読みやすいように翻訳・編集したものです。逐語訳ではありません。例え話、図、言い回しは日本語として自然になるよう調整しています。

ステータス: 日本語版は全 32 章 + 付録 A〜C（Scaling Laws・デコード戦略・FAQ）を含む全編の翻訳が完成しています。これから編集と現場のエピソードの追加を続けていきます。

この本の立ち位置

この本は数式を暗記する本ではありません。Transformer の各層が何をしているのかを理解する本です。

世の中の Transformer 解説は、よく次の 3 つのうちのどれかに陥ります。

• 直感を作る前に数式を貼り付ける
• 「Attention Is All You Need」をなぞって終える
• なぜそういう形のコードなのかを説明せずにコピペする

語彙を覚えることと、システムを理解することは別のことです。本物の理解には次のような道具が要ります。

• 幾何的な直感：なぜ Q × K で類似度になるのか
• 可視化的な思考：行列はどのように情報を運ぶのか
• 具体的な類比：なぜ生成は線路を 1 本ずつ敷いていくように感じるのか
• 動くコード：Model、Train、Inference がどうつながるのか

内容の概観

想定読者

前提知識

• 必須: 基本的な Python と行列の積
• 推奨: PyTorch とニューラルネットワークの基礎
• 不要: 「Attention Is All You Need」を読んでいること

読み方の道筋

1. はじめにを読み、本書の教え方の流儀を掴む
2. Transformer がまだぼんやりしているなら、Part 1〜4 を順に読む
3. すでにアーキテクチャを知っていて本番最適化に進みたい場合は、Part 6〜8 に飛ぶ
4. オリジナル GPT 以降の流れを追う地図として Part 9 を使う

ライセンス

MIT License — 自由に読み、学び、共有してください。

"The best way to learn is to teach."