クラウドの裏側では、30年越しの理論がついに本番インフラに載りました。AWSは2026年4月時点で、新規の非GPUデータセンター大半に平坦なネットワーク設計「RNG(Resilient Network Graphs)」を標準採用しています。ルーター数を69%削減し、スループットは最大33%向上、ネットワーク機器の消費電力は40%減と試算されています。

この記事では、従来のfat-tree(階層型ネットワーク)からRNGへ移行した背景と仕組み、実運用での効果、GPUクラスター向け設計との使い分けを整理します。

この記事でわかること

  • RNGが置き換えるfat-treeの課題と、ランダムグラフ理論との関係
  • ShuffleBoxとSpraypointが解決した「配線」と「ルーティング」の2つの壁
  • 本番投入までの検証プロセスと、一般ワークロードへの影響
  • AI学習クラスターがRNG対象外である理由

AWSがデータセンター網の標準設計をRNGに切り替えた

AWSは、拡張グラフ(expander graph)に基づく平坦ネットワークを大規模本番環境へ初めて投入したと報告しています(arXiv論文)。RNGは「準ランダム(quasi-random)」なトポロジーで、各ラックのトップオブラック(ToR)スイッチがスパイン層を介さず、他ラックのToRへ直接つながるメッシュ構造です。

公開されている数値は次のとおりです。

  • ネットワーク機器数:69%削減
  • スループット:最大33%向上
  • ネットワーク機器の消費電力:40%削減(試算)
  • fat-tree比のコスト:9〜45%削減(過剰購読率により変動)

2024年末にアイルランド・ダブリン近郊で初の本番ネットワークが稼働し、続いてアイルランド・ドイツ・スペインの3拠点で検証と改良を重ねたうえで、2026年4月にグローバル大半の新規非GPUビルドの標準となりました。顧客側のワークロード変更は不要で、既存アプリケーションの下で透過的に動作します。

なぜfat-treeでは足りなくなったのか

fat-treeは、ToRスイッチから集約層、さらにスパイン層へと上がっていく階層型の設計です。組織図のような構造のため実装は容易ですが、上位層のスイッチにトラフィックが集中しやすく、スパインリンクが詰まると他に余裕があってもスループットが落ちます。容量を増やすにはスイッチ層ごと設備を足す必要があり、コストと電力の負担が大きくなります。

障害時の挙動も課題です。スパインスイッチ1台の障害は、その下流の多数ラックに波及します。一方、1990年代初頭の数学的研究では、ルーターをランダムに少数接続するトポロジーが効率的で耐障害性に優れると示されていました。ルーターの1%を失っても容量はおおむね1%だけ減る、という比例劣化が期待できます。ただし、ランダム配線の物理的実現と、階層のない網でのルーティング計算が長年の障壁でした。

ShuffleBoxが配線問題を解いた仕組み

データセンターでルーターを本当にランダム接続すると、離れたラック間に長いケーブルを張り巡らせる必要があり、現場の配線作業は破綻します。AWSの回答がShuffleBoxです。これは受動型の光デバイスで、ルーター側ポートと他ShuffleBox接続ポートを内部でシャッフルした配線を持ちます。

新しいラックが届いたら、技術者はローカルのShuffleBoxの空きポートにToRスイッチを差すだけです。他ラックの配線を組み直す必要はありません。論理トポロジーは準ランダムですが、物理的な配線の複雑さはfat-treeと同程度に抑えられます。ShuffleBoxは受動部品のため、遅延追加や消費電力、独自の故障モードを持ちません。

Spraypointが階層なしで経路を決める方法

平坦な網には、パケットの行き先を示す階層構造がありません。従来のマルチパスルーティングをそのまま当てはめると、汎用ルーターのメモリの20〜80倍が必要になるとAWSは指摘しています。

Spraypointは、この制約向けに設計された分散ルーティングプロトコルです。送信元ルーターはまず隣接ルーターへトラフィックをランダムに「スプレー(散布)」します。各宛先ルーターには専用のウェイポイントが割り当てられ、スプレー後は最短経路でウェイポイントへ送り、ウェイポイントから宛先へ届けます。実装では宛先の周囲に複数のリングを設け、外側のリングから内側へ段階的に誘導します。

一見、複数経路へ同時に流すのは無駄に見えます。RNGではもともとマルチパス冗長の帯域が確保されているため、その余剰帯域を実際の転送に使う、という設計思想です。スプレーにより、標準的な最短経路方式の約2倍の独立経路数を確保でき、輻輳や障害を迂回しやすくなります。

本番投入前に530プロセッサ年の検証を実施

新トポロジーでは、建設前に性能を予測できるモデルが必要です。AWSは準ランダムグラフ向けに経路長、経路数、リンク負荷などの数理モデルを開発し、Amazon EC2上で530プロセッサ年(単一CPUを約500年間動かす相当)のシミュレーションで検証しました。数十種類のトラフィックパターンを対象に、fat-treeと同等以上の性能を確認したと報告しています。

本番では、マルチパス転送ワークロードとレイテンシ敏感なストレージ操作でfat-treeと同等の性能を確認済みです。運用者はサーバー台数と目標性能を指定し、条件を満たす最安トポロジーを設計できるようになっています。

GPUクラスターはRNGの対象外

RNGが想定するのは、トラフィックがおおむねランダム分布に近い汎用コンピュートです。AI学習では全GPUが協調して同期通信を行うため、トラフィックは集中型になります。このパターンはRNGの前提と合いません。

AWSはGPUクラスター向けにUltraServerアーキテクチャを継続利用します。RNGはコンピュート、ストレージ、データベース、AI推論のようにCPU・ストレージも絡む広いクラウド基盤向けです。AWS Networking Labの責任者は、AIはGPUだけでなくCPUとストレージも含むネットワークだと説明しています(Data Center Knowledgeの取材)。

他社との比較と業界への示唆

Google、Microsoft、Metaもfat-tree代替の研究を公開していますが、拡張グラフベースのネットワークをAWSと同等規模で本番投入した事例は、現時点でAWSのみが公表しています。RNGはラック単位でネットワーク機器を段階的に増やせるため、需要の前に大規模なスイッチ層を先行投資しにくい点も利点として挙げられています。

クラウド利用者が直接RNGを選ぶ設定項目はありません。API呼び出しやDBクエリの背後にあるインフラが、より耐障害性が高く電力効率のよい網に置き換わる、という変化です。ネットワーク設計やデータセンター運用に携わる読者にとっては、理論上最適とされていたランダムグラフが「準ランダム化」と専用ハードウェアで実用化された事例として、今後の設計議論の参照点になります。