RAGには根本的な欠点がある。質問するたびに、LLMは同じ知識をゼロから組み立て直す。蓄積がない。

Andrej Karpathyが2026年4月4日に公開したGitHub Gist「LLM Wiki」は、この問題を別のアプローチで解く。LLM自身に知識ベースをMarkdownファイルとして書かせ、ソースを追加するたびに育てていく仕組みだ。Gistは公開から1か月で5,000以上のスターを集め、複数のOSSが生まれている。

この記事でわかること：

  • RAGとLLM Wikiの本質的な違い
  • 3層アーキテクチャの役割
  • Ingest・Query・Lintという3つの操作フロー
  • 個人・チーム・研究での活用例

https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f

RAGが抱える「毎回ゼロから始める」問題

RAGは、ドキュメントをベクトルDBに格納し、質問のたびに関連チャンクを検索して回答を生成する。仕組みとして広く普及しているが、欠点がある。

知識が積み重ならない点だ。5つのドキュメントにまたがる複合的な質問をするたびに、LLMは同じ断片を拾い集め、毎回同じ推論をやり直す。合成や矛盾の発見、クロスリファレンスは会話が終わると消える。

Karpathyはこの問題を「再派生（re-derive）」と呼んで問題視する。NotebookLM、ChatGPTのファイルアップロード、一般的なRAGシステムはすべてこの方式だ。

コアアイデア：永続的に育つWiki

LLM Wikiのアイデアはシンプルだ。LLMにドキュメントを「検索させる」のではなく、「構造化されたWikiに統合させる」。

新しいソースを追加すると、LLMは次のことを一度だけ実行する。内容を読み込み、エンティティページや概念ページを作成・更新し、矛盾があれば既存ページに記録し、クロスリファレンスを貼る。この結果が永続するMarkdownファイルとして残る。

Gistの中でKarpathyは「Wikiは永続的に積み重なるアーティファクトだ。クロスリファレンスはすでにある。矛盾はすでに記録されている。合成はすべての読んだ内容を反映している」と述べている。ソースを追加するたびにWikiが充実し、質問のたびに情報が積み上がる。

3層のアーキテクチャ

構成要素は3つに分かれる。

Raw sources（生ソース）はLLMが読むだけで絶対に変更しない、不変のドキュメント群だ。論文、記事、データファイルなど、自分が集めたソースをここに置く。

WikiはLLMが書き、維持するMarkdownファイルの集合体だ。エンティティページ、概念ページ、概要、比較、合成などが含まれる。人間はここを読むが、書くのはLLMの仕事だ。

Schema（CLAUDE.mdやAGENTS.md）はLLMに「Wikiの構造・規則・操作手順」を伝える設定ファイルだ。このファイルがLLMを汎用チャットボットではなく、規律ある編集者に変える。KarpathyはSchemaを「最も重要な設定ファイル」と位置づけており、使いながらLLMと一緒に育てていく。

3つの操作フロー

Ingestは新しいソースをWikiに取り込む操作だ。LLMはソースを読み、サマリーページを書き、インデックスを更新し、関連する10〜15ページを一度に更新する。バッチ処理もできるが、Karpathy自身は1件ずつ監督しながら取り込むスタイルを好む。

Queryは質問操作だ。LLMはまずindex.mdで関連ページを探し、読み込んで回答を合成する。回答自体も価値があればWikiの新しいページとして保存できる。「探索が知識ベースに蓄積される」という考え方だ。

Lintは定期的なWikiの健全性チェックだ。矛盾、孤立ページ、古くなった情報、未作成の概念ページなどをLLMに探させる。Wikiが大きくなるほどこの作業が重要になる。

人間の役割とLLMの役割

知識ベースの維持が続かない理由は、維持コストが価値の増加を上回るからだ。人間はクロスリファレンスを更新し、サマリーを見直し、矛盾を記録する作業に飽きる。

LLM Wikiでは、この「退屈な作業」をすべてLLMが担う。LLMは飽きず、クロスリファレンスの更新を忘れず、1回のセッションで15ファイルを更新できる。

人間の仕事はソースの収集、分析の方向付け、正しい質問をすることだ。Karpathyは「LLMをプログラマー、Wikiをコードベース、ObsidianをIDEとして使っている」と説明している。片側でLLMエージェントが編集し、もう片側のObsidianでリアルタイムにグラフビューを確認するスタイルだ。

使える場面

Karpathyが挙げる用途は幅広い。個人の知識管理（目標・健康・自己改善の記録）、特定トピックの長期研究（論文・記事を数週間かけて読み込んで合成する）、読書しながら章ごとに登録して登場人物と主題の相関Wikiを作る、企業内でSlackスレッドや会議録をWikiに統合するといった使い方が想定されている。競合分析、デューデリジェンス、コースノート、旅行計画など、知識を時間をかけて積み上げる作業全般に適用できる。

エコシステムの広がり

Gistのコメント欄は新しいOSSの発表の場になっている。NEXUS（6エージェントによるマルチエージェント記憶システム）、SwarmVault、Aura、llmwiki-cli、ΩmegaWiki、Linkなどのプロジェクトが、LLM Wikiパターンを起点に開発された。

LLM Wiki v2はAIコーディングエージェント向けに永続メモリエンジンとしてパターンを拡張している（参考）。検索ツールとしてはqmd（ローカルMarkdownのBM25/ベクトルハイブリッド検索、MCPサーバー対応）との組み合わせが推奨されている。

まとめ

LLM Wikiは「LLMに検索させる」から「LLMに書かせ、育てさせる」へのシフトだ。

RAGが毎回再派生を繰り返すのに対し、LLM Wikiは知識を一度合成して永続させる。実装は3つのフォルダとスキーマファイルだけで始められる。GistにはClaude Code・Codex・OpenCodeなど主要なAIエージェントへのコピー用のアイデアファイルとして使える形式で書かれており、試すハードルは低い。