LLMを体系的に学びたいが、日本語で網羅的にまとまった資料がない。そんな悩みを抱えている方に朗報です。東京大学松尾・岩澤研究室が「大規模言語モデル講座2024」の全12回分の講義スライドを無料で公開しています。

この記事でわかること:

  • 松尾研LLM講座の全12回で扱うテーマ
  • 前半(基礎)と後半(応用)それぞれの学習内容
  • スライドの入手方法と利用条件

松尾研LLM講座とは

東京大学松尾・岩澤研究室が提供する「大規模言語モデル講座」は、LLMの原理から社会実装までを全12回で学べるオンライン講座です。2024年9月から11月にかけて「東京大学サマースクール2024」の一環として実施され、延べ6,000名以上が受講しました。

講義スライドはPDFとPPTX形式で公開されており、誰でも無料でダウンロードできます。前半6回でLLMの基礎技術を固め、後半6回で応用分野を深掘りする構成です。特別回として「LLMの自己修正」に関する講義も含まれています。

前半:LLMの基礎を固める6回

前半では、LLMを理解するための土台を築きます。

第1回「Overview」では、言語モデルとは何か、なぜ今LLMが注目されているのかという全体像を把握します。LLMの概況やスケール、汎用性、他領域への影響を整理する導入回です。

第2回「PromptingとRAG」では、学習済みLLMを追加学習なしで活用する技術を扱います。Few-shot学習やChain-of-Thought、Tree-of-Thoughtといったプロンプトエンジニアリング手法に加え、外部知識を検索して回答精度を高めるRAG(Retrieval Augmented Generation)を学びます。

第3回「Pre-training」では、LLMの主要なモデル構造であるTransformerと事前学習の仕組みを解説します。Embedding、Multi-Head Attention、Feed Forwardといったアーキテクチャの要素を理解し、LLM以前のモデルとの違いを通じて事前学習の重要性を掴みます。

第4回「Scaling Law」は、モデルを大規模化する意義とスケーリング則がテーマです。計算資源・データセットサイズ・パラメータ数と誤差の関係を定量的に理解します。画像生成やマルチモーダルなど、言語以外の分野へのスケーリング則の適用も取り上げます。

第5回「Supervised Fine-Tuning」では、事前学習済みモデルを特定タスクに適応させるファインチューニングを学びます。Instruction TuningやLoRA、AdapterといったPEFT(Parameter-Efficient Fine-Tuning)手法を扱い、ChatGPTやMed-PaLMなどの実例を通じて理解を深めます。

第6回「LLMの発展を支える半導体エコシステム」では、LLMを動かすハードウェア側の視点に切り替わります。GPUの性能向上や消費電力問題、メモリ帯域など、モデル開発の裏側を支える技術動向を把握します。

後半:応用と最前線の6回

後半は、前半で学んだ基礎を土台に応用分野へ踏み込みます。

第7回「RLHF & Alignment」では、人間のフィードバックを用いた強化学習(RLHF)とアライメントを扱います。InstructGPTやChatGPTで使われるPPOの仕組みや、RLHFの課題と対策を学びます。

第8回「Advanced Pre-training」は、大規模モデルの事前学習を効率化する技術がテーマです。MoE(Mixture of Experts)やEfficient Attentionなど、計算コストを抑えながら性能を引き出すアーキテクチャを学びます。

第9回「Safety」では、LLMが抱えるリスクに正面から向き合います。ハルシネーション(事実と異なる出力)の分類・原因・検出方法、バイアスの問題、プロンプトインジェクションなどの攻撃と防御を体系的に整理します。

第10回「LLMの分析と理論」は、LLMの内部メカニズムを掘り下げる回です。文脈内学習(In-Context Learning)がなぜ機能するのか、既存研究の分析手法や仮説を通じて理論的な理解を目指します。

第11回「Domain Specific LLM」では、医療や金融など特定領域に特化したLLMの構築方法を学びます。継続事前学習やInstruction Tuning、表層アライメント仮説など、ドメイン適応の手法と評価指標を具体的な事例とともに解説します。

第12回「LLM for Control」は、LLMをロボット制御やWebエージェントに応用するテーマです。基盤モデルの構築からシミュレータの活用、Open-Loop/Closed-Loop Planningまで、LLMの出力を現実世界の行動に変換する技術を扱います。

ダウンロード方法とライセンス

スライドは公式ページ(weblab.t.u-tokyo.ac.jp/llm_contents_2024/)からPDFまたはPPTX形式でダウンロードできます。

ライセンスはクリエイティブ・コモンズの「CC BY-NC-SA 4.0」です。非営利目的であれば二次利用(共有・翻案)が認められています。営利目的での利用は別途問い合わせが必要です。再利用時には各スライドに記載されたライセンス表記を含める必要があります。

2025年版は基礎編・応用編の2部構成に

2025年度版の講座は内容をさらにバージョンアップし、基礎編と応用編の2部構成(計16回)で提供されています。対象は学生と一部の社会人(国家・地方公務員、研究者、スタートアップ企業の社員など)で、受講料は無料、完全オンラインで実施されます。

2024年版のスライドで独学し、2025年版の講座に参加して理解を深めるという使い方も有効です。募集状況は松尾研の公式サイトで確認できます。

独学のロードマップとして

この講座の強みは、LLMの基礎から応用までを一本の線でつないでいる点です。Transformerの仕組みから始まり、スケーリング、ファインチューニング、RLHF、安全性、ドメイン特化、ロボット制御まで、断片的になりがちなLLM知識を体系的に整理できます。日本語でここまで網羅した無料教材は他にありません。LLMの全体像を掴みたい方は、まず第1回のスライドを開いてみてください。