AIがAI研究そのものを加速する時代が、ベンチマークの数字で示され始めています。

この記事では、スタートアップAsterが公開した自主研究システムの成果を整理します。Andrej KarpathyのNanoChatベンチマーク、タンパク質変異予測のProteinGym、回路ベースのLLMアーキテクチャ発見まで、何が起きたのかを押さえられます。

この記事でわかること

  • Asterの並列研究エージェントがどのベンチマークで成果を出したか
  • NanoChatで到達した検証損失0.9098 BPBの意味と技術的変更点
  • ProteinGymでトップスコアに届いた推論時最適化の中身
  • 回路のみで構成したLLMアーキテクチャの発見内容

https://www.asterlab.ai/research/announcing_preliminary_results_from_our_autonomous_research_system

Asterとは何か

Asterは、研究の自動化を目指すパブリック・ベネフィット・コーポレーション（公益法人）です。創業者のEmmett Bicker氏は18歳でAIラボMagicに参加し、強化学習の研究を経て2026年1月に独立しました。Y Combinator Spring 2026バッチのメンバーでもあります。

同社の主張は明快です。従来の自律研究システムは1つのエージェントが1問ずつ処理するため、局所解に陥りやすい。Asterは数千の研究エージェントを並列に動かし、数時間単位の研究を数十分に圧縮する、と説明しています。

NanoChatベンチマークで何が起きたか

Andrej Karpathyが公開するnanochatは、8台のNVIDIA H100でGPT-2相当のLLMを約100ドル以下で学習できる実験基盤です。リポジトリには「Time to GPT-2」という学習時間のリーダーボードもあり、2026年3月時点の記録はKarpathy自身の1.65時間（99分）です。

今回Asterが更新したのは、この時間競争ではなく、NanoChat上の自律研究ベンチマーク（AutoResearch）の検証損失です。指標はvalidation BPB（bits per byte）で、低いほど性能が高いとみなされます。

Asterの公式報告によると、コミュニティの最良値は0.9372 BPBでした。別企業のシステムは40時間の実行で0.9109 BPBに到達しています。Asterは0.9098 BPBを達成し、Karpathyの一夜実行を1時間以内に上回ったと述べています。30台のNVIDIA B200を並列に使い、およそ50時間かけたとのことです。

X（旧Twitter）での発表では「2日間で記録更新」「競合の1000分の1の資金」とも触れられています。公式ブログは資金規模には言及していませんが、大規模並列実行で短期間に到達した点は一致しています。

自律研究が見つけた変更点

Asterが特に興味深いとした改良は3つです。

1つ目はTritonカーネルの融合です。アテンションのエピローグ処理で、ヘッドごとのRMS正規化とゲイン処理を1つのカーネルにまとめ、最大テンソルのHBMアクセスを約半分に削減しました。数値的には従来のeager実装と同等です。

2つ目は出力バイグラム表です。語彙×語彙の学習テーブルを現在トークンから直接参照し、トランスフォーマー本体とlm_headを経由せず次トークンのlogitに加算します。シグモイドゲートで寄与量を制御し、初期状態では無変更になるよう設計されています。

3つ目はn-gramバックオフの再利用です。入力側で既に集めたバイグラム・トライグラム・4-gramの埋め込みを、最終表現への残差注入と共有lm_headのデコードに再利用します。新しいテーブルやgatherを追加せず、高次の語彙信号をlogitへ直通させる仕組みです。

Asterは競合のRecursive社と同等水準であるとしつつ、分散が大きいため優劣の断定は避けています。同システムが生成した別プログラムは0.9059〜0.9388 BPBの幅で推移したとも報告しています。

ProteinGymでトップスコアに届いた理由

ProteinGymは、タンパク質の変異が機能に与える影響を予測する精度を競うベンチマークです。生物学AIの分野で広く参照されています。

Asterは凍結済みモデルProSST（K=2048）の推論時最適化に絞りました。再学習は行わず、1000の並列エージェントを各1台のNVIDIA T4で約30分動かしたと説明しています。最終的なSpearman相関は0.526で、ベンチマークのトップ水準を上回ったとしています。

決定的だったのはスコア関数の変更です。変異アミノ酸の対数確率log p(a)だけを見る方式から、同じ位置の全アミノ酸分布に対する信頼度を加味する方式へ切り替えました。学習パラメータは増やさず、モデルの自信が高い変異と低い変異の順位が入れ替わるケースを補正します。Y Combinatorの紹介では、単一エージェント方式の57倍速・3分の1のコストとも述べられています。

回路ベースLLMアーキテクチャの発見

Asterは6月8日の別報告で、論理ゲートのみで構成したLLMアーキテクチャも公開しています。課題は「学習可能なブラックボックスをすべてCにコンパイル可能な回路に置き換える」ことでした。

成果物は2種類です。モデル全体を三値回路化したものと、フィードフォワード層だけを回路化したものです。10Mパラメータで30分、100Mパラメータで1時間の学習を行い、規模を上げると品質が改善する傾向が確認されました。

回路化モデルは行列積を使わず、埋め込み層の重みと固定アテンション先、論理ゲートによるトークン予測で動作します。100Mパラメータ版に「i think」と入力すると、英文の続きを生成でき、文法の基礎を学習していることが示されています。メカニスティック解釈可能性（モデル内部の理解）に向けた探索例として位置づけられています。

研究の自動化が意味すること

Asterの文脈では、3つのベンチマーク成果は「人間が数ヶ月かけていた探索を数時間に圧縮した」事例として語られています。NanoGPTスピードランでは、同社の旧版システムが96.8秒の記録を95.2秒に短縮した実績もあります（Muon最適化器の発見につながった競技として知られています）。

一方で同社は、ベンチマークで測れない「オープンエンドな研究」こそが次の課題だと強調しています。測定可能な問題は研究全体の一部に過ぎず、問題設定そのものを自律的に見つける能力が必要だ、という立場です。

LLM学習、タンパク質予測、GPUカーネル最適化など異なる領域で同時に前進できるかどうかが、今後の自律研究システムの信頼性を測る試金石になるでしょう。採用情報はinfo@asterlab.aiで受け付けているとされています。