AIエージェントがツールを叩く前に、潜在空間で数百の未来を試してから最適解を選ぶ——そんな構成が、研究段階の新提案として注目を集めています。
この記事では、Hermes AgentとJEPA（Joint-Embedding Predictive Architecture）型ワールドモデルを組み合わせる発想の中身と、すでに公開されている技術要素を整理します。
この記事でわかること
- LLMのテキスト推測と、潜在空間シミュレーションの違い
- 提案の核となるHermes AgentとLeWorldModelの役割
- Abdel Stark氏のWorldForgeが示す、実装に近いデモの姿
- この研究案が「研究進行中」である点と、読者が今すぐ触れるOSS
LLM推測の限界と「行動前の想像」
多くのAIエージェントは、LLM（大規模言語モデル）が次に何をすべきかを言語で推測し、そのままツールを実行します。コード修正やファイル操作なら成立しやすい一方、物理世界や連続的な状態変化を伴うタスクでは、テキストだけでは結果を正確に見通せません。
2026年6月28日、研究者のCarlos氏（@carldlfr）はXで、Hermes AgentとJEPAワールドモデルを組み合わせる構想を公開しました。要点は「行動する前に想像する」ことです。LLMによるテキスト推測の代わりに、潜在空間（latent space）で200通りの未来をシミュレーションし、最も良い経路を選んでから実行する——そう説明しています。Carlos氏は「Research in progress（研究進行中）」と明記しており、統合プロジェクトとして単体リリースはまだありません。
この発想の背景には、StarkWareのAbdel Stark氏が上海で公開した講演「World Models: the ChatGPT moment for robotics?」があります。Abdel氏は、人間レベルの知能やPhysical AI（物理空間で動くAI）においてLLMだけでは限界があると指摘し、行動条件付きワールドモデルによる潜在空間計画が次の一手だと論じています。
Hermes Agent——OSSの自己改善型エージェント
提案の「エージェント側」に当たるのが、Nous Researchが開発するHermes Agentです。MITライセンスのオープンソースで、2026年2月頃から公開されています。
Hermes Agentの特徴は、セッションをまたいで記憶を保持し、タスクからスキル（Markdown形式の知識文書）を自動生成して再利用する点です。TelegramやDiscord、Slackなど複数プラットフォームから同一エージェントにアクセスでき、ローカル・Docker・SSH・Modalなど6種類の実行バックエンドに対応します。OpenRouterやOpenAIなど任意のLLMプロバイダーに切り替え可能で、ベンダーロックインを避けた設計です。
GitHubリポジトリのREADMEでは、バッチ軌跡生成や軌跡圧縮など「Research-ready（研究向け）」機能も謳われています。Carlos氏がHermesを選んだ理由の一つは、この拡張性とOSSとしての再現性にあると考えられます。
JEPAワールドモデル——潜在空間で未来を予測する
JEPAは、Yann LeCun氏が提唱するJoint-Embedding Predictive Architectureの略称です。ピクセル単位で次のフレームを生成するのではなく、観測をコンパクトな潜在表現にエンコードし、その表現空間で「次の状態」を予測します。表現空間での予測は計算コストが低く、多数の行動候補を試す計画（planning）に向いています。
Carlos氏の提案で参照される15M（1500万）パラメータ・1枚GPUという数字は、2026年に公開されたLeWorldModel（LeWM）の仕様と一致します。
LeWorldModelは、生のピクセル入力からエンドツーエンドで学習するJEPA型ワールドモデルです。エンコーダが観測フレームを192次元の潜在ベクトルに変換し、予測器（predictor）が行動を条件に次ステップの潜在表現を予測します。学習目的関数は2項のみ——次ステップ予測損失と、潜在空間の分布を正規化するSIGReg（Sketched Isotropic Gaussian Regularization）——で、従来のJEPAが必要とした複雑な正則化を大幅に簡素化しています。
公式プロジェクトページによると、LeWMは1枚のGPUで数時間の学習が可能です。計画（planning）ではCross-Entropy Method（CEM）で行動系列を最適化し、予測器を潜在空間上でロールアウトしてゴールに最も近い経路を選びます。DINO-WMベースの手法と比べ、計画速度は最大48倍、Push-Tタスクでは約1秒対47秒という差が報告されています。コードとチェックポイントはオープンソースで公開されています。
WorldForge——すでに動く「ポリシー＋ワールドモデル」デモ
Carlos氏の構想は研究段階ですが、同じ技術スタックを組み合わせたデモはすでに存在します。Abdel Stark氏が公開するWorldForgeは、Hugging Face LeRobotのポリシーとLeWorldModelを接続し、候補行動をスコアリングして最良の行動チャンクを選ぶフレームワークです。
https://github.com/AbdelStark/worldforge
WorldForgeのRobotics Showcaseでは、LeRobotがPushTタスクの行動候補を提案し、LeWorldModelが各候補のコストを評価、WorldForgeが最低コストの行動を選択してローカルでリプレイします。実機制御ではなくシミュレーション上の計画ですが、「候補生成→潜在空間評価→最良選択」というループが可視化されています。Carlos氏がHermes Agentに求める「行動前シミュレーション」と、WorldForgeが示すアーキテクチャは方向性が一致しています。
「証明可能な正しさ」とは何を指すか
Carlos氏は、潜在空間で最良の未来を選び「provable correctness（証明可能な正しさ）」で実行すると述べています。Abdel Stark氏はStarkWareでSTARK証明やVerifiable Intelligence（検証可能な知能）に取り組んでおり、Carlos氏も数学的背景と「証明可能な技術」を統合したい意向を示しています。
現時点で、Hermes AgentとLeWorldModelを統合し、STARK証明まで含む実装が公開されているわけではありません。ここは研究構想として位置づける必要があります。ただし、潜在空間での計画結果を外部から検証可能な形に落とし込む方向性は、エージェントの信頼性問題——幻覚的なツール呼び出しや誤った前提での行動——への対策として注目に値します。
既存のJEPA計画と比較すると
MetaのV-JEPA 2も、行動条件付きモデル（V-JEPA 2-AC）を使い、候補行動の結果を想像してから最良の行動を選ぶモデル予測制御（MPC）を実装しています。Droidデータセットの約62時間分のロボット動画で学習し、新環境でもゼロショット計画を可能にした点が特徴です。
LeWorldModelは規模が小さく、1500万パラメータ・1GPU・数時間学習という再現性の高いフットプリントが強みです。V-JEPA 2が大規模動画事前学習＋少量ロボットデータという二段構成なのに対し、LeWMはピクセル入力からエンドツーエンドで学習し、個人研究者でも試せる設計です。Carlos氏の「200通りの未来」という表現は、LeWMのCEM計画（公式ページでは300サンプル等の設定）と同系統の多数候補評価を指していると読めます。
読者が今触れるものと、これからの動向
整理すると、現状は次の3層に分かれます。
- Hermes Agent：OSSとして利用可能。LLMベースの自己改善型エージェント
- LeWorldModel / WorldForge：OSSとして利用可能。潜在空間計画の実装とデモ
- Carlos氏の統合案：研究進行中。Hermes＋JEPA＋証明可能実行の組み合わせ
Carlos氏は「いくつか先に終わらせるべきことがあり、まだ初期段階」と述べています。それでも、この提案が示す方向——エージェントがテキスト推測だけに頼らず、軽量ワールドモデルで行動前に未来を試す——は、Physical AIやロボティクス、さらには高リスクな自動化タスク全般に波及する可能性があります。
1500万パラメータ・1枚GPUという数字は、大規模クラウドなしでも「想像してから動く」エージェントを試せる時代が来ていることを示しています。統合プロジェクトの公開を待つ間、Hermes AgentとWorldForgeを別々に触ることで、Carlos氏が描く未来の構成要素を先取り体験できます。