有料コース級の内容を、著名なAI研究者がYouTubeで無料公開している。この記事では、Andrej Karpathy氏の講義動画が何を扱い、どの順番で学ぶと効果的かを整理します。

この記事でわかること

  • 「Deep Dive into LLMs like ChatGPT」の全体像と章立て
  • プリトレーニングからRLHFまでの訓練工程の流れ
  • 実装重視の「Neural Networks: Zero to Hero」シリーズとの使い分け
  • 学習前に押さえておきたい前提知識と視聴の進め方

https://www.youtube.com/watch?v=7xTGNNLPyMI

2026年6月、X（旧Twitter）でAndrej Karpathy氏の講義動画が話題になりました。投稿では「有料なら2000ドル相当のコースをYouTubeに置いた」と紹介され、トークン化、ニューラルネット内部、幻覚、ツール利用、強化学習、RLHF、DeepSeek、AlphaGoといったテーマが列挙されています。動画の実際の尺は3時間31分で、2025年2月5日に公開され、再生回数は740万回を超えています（参考）。

講義の位置づけ

Karpathy氏はOpenAIの創業メンバー（2015年）であり、テスラでAI部門のシニアディレクターを務めた後、AIネイティブな教育事業を手がけるEureka Labsを立ち上げています。動画の説明文では、ChatGPTのような大規模言語モデル（LLM）の技術を一般向けに解説し、訓練の全工程とモデルの「心理」、実務での活用法まで扱うと明記されています。1年前に公開した短い入門動画の再録版ではなく、より包括的な版として制作されたものです。

3時間半で何を学べるか

動画は章立てが細かく、LLMがどの段階で形作られるかを順に追えます。主要な区切りは次のとおりです。

  • プリトレーニング: インターネット由来のデータ収集と学習
  • トークン化: テキストをトークン列に変換する仕組み（Byte Pair Encodingなど）
  • ニューラルネット内部: 入出力の流れ、推論、GPT-2やLlama 3.1での実演
  • ポストトレーニング: 会話データを使った教師あり微調整（SFT）
  • 幻覚とツール利用: モデルが誤情報を出す理由、検索やコード実行など外部ツールとの連携
  • 強化学習: DeepSeek-R1の事例、AlphaGoとの比較、RLHF（人間のフィードバックによる強化学習）

特に後半は、2025年初頭のフロンティア開発として「思考モデル」や強化学習の試行錯誤が進んでいる点に触れています。DeepSeek-R1の論文を参照しながら、数学問題の精度が学習の進行とともに上がる様子や、モデルが長い推論チェーンを自発的に生成する過程を解説しています。AlphaGoの事例では、人間の棋譜だけでは到達しにくい手筋を強化学習が見つけた流れを引き合いに、LLMへの応用を説明しています。

実装から学ぶZero to Heroシリーズ

https://karpathy.ai/zero-to-hero.html

上記は別シリーズ「Neural Networks: Zero to Hero」の公式ページです。こちらはコードを書きながらニューラルネットを段階的に構築する講座で、バックプロパゲーションの基礎（micrograd）から始まり、言語モデル（makemore）、GPTの実装、GPTトークナイザーの自作まで8本の動画が公開されています。GitHubリポジトリ karpathy/nn-zero-to-hero には各講義のJupyterノートブックがMITライセンスで置かれ、動画説明欄に演習課題も付いています。

前提条件は「Pythonに慣れていること」と「高校レベルの微積分のおぼろげな記憶」です。動画の尺は講義ごとに1〜2時間台で、シリーズ全体は「ongoing（継続中）」とされています。

2つの講座の使い分け

講座 向いている人 特徴
Deep Dive into LLMs LLMの全体像を掴みたい人 コード不要、訓練工程と実務上の注意点を俯瞰
Zero to Hero 手を動かして理解したい人 PyTorchで実装しながら基礎からGPTまで到達

まずDeep Diveで「LLMは何段階で作られるか」を把握し、実装の詳細が必要になった段階でZero to Heroに入るのが効率的です。逆に、いきなり実装に入るとトークン化やバックプロパゲーションの背景が見えにくくなります。

視聴時の注意点

動画の説明文には、教育目的および社内研修目的での利用は自由である旨が記載されています。一方で、商用再販や内容の意図を歪める改変は禁止されています。Karpathy氏自身も、LLMは強力なツールだが万能ではないと繰り返し述べており、幻覚への対策として出力の検証を促しています。3時間超の尺があるため、章ごとに区切って視聴するのが現実的です。説明欄にFineWebデータセット、Tiktokenizer、Transformer可視化ツール、各種論文へのリンクがまとまっているので、気になった章から深掘りできます。

なぜ今注目されているか

LLMの仕組みを体系的に学べる無料教材は多くありません。大学の講義録や企業の技術ブログは散在しますが、OpenAI創業メンバーが3時間超で訓練の全工程を一気通貫で解説する例は稀です。再生回数740万回という数字は、エンジニアだけでなくビジネスサイドの関心の高さも示しています。強化学習やDeepSeek-R1の話題が続く今、基礎から最新動向まで一つの動画で追える点に価値があります。