InfiniBandとRoCEネットワーキングの包括的分析：GPUアプリケーションに焦点を当てて

人工知能（AI）トレーニング、高性能計算（HPC）、科学計算の分野において、GPUコンピューティングクラスターの性能は極めて重要であり、ネットワーキング技術は全体の性能に影響する重要な要素です。モデルサイズの拡大と計算需要の増加に伴い、グラフィックスカードの全潜在能力を引き出すためには、適切なネットワーク技術を選択することが重要です。本記事は、2つの主流な高性能ネットワーク技術——InfiniBand（IB）とRoCE——を深く分析し、異なるGPU環境での応用効果を検証し、コンピューティングクラスターを構築する際の最適な選択を支援します。

1 IBとRoCE：高性能計算ネットワークの中核技術

従来のイーサネットが高性能計算の要求を満たせない時代において、InfiniBandとRoCEはリモートダイレクトメモリアクセス（RDMA）技術をサポートする主要ソリューションとして、ネットワークレイテンシとCPUオーバーヘッドという2大ボトルネックに対処してきました。

1.1 InfiniBand：高性能のために生まれたネットワーク技術

InfiniBandは、高性能計算のために特別に設計されたオープン標準のネットワーク相互接続技術です。そのアーキテクチャは従来のイーサネットとは根本的に異なり、独立した完全なエンドツーエンドのRDMAネットワークシステムを構築しています。IBはRDMAをネイティブサポートしており、データは相手のCPUやオペレーティングシステムカーネルを経由せずに、アプリケーションメモリ空間間で直接転送できます。これにより、レイテンシとCPUオーバーヘッドが大幅に低減されます。IBネットワークは、独自の物理層、リンク層、ネットワーク層、トランスポート層プロトコル、および専用のネットワークカード、スイッチ、ケーブルを有しており、TCP/IPプロトコルスタックに依存しません。

IBはキューペア（QP） ベースの通信モデルを採用しています。アプリケーションはQPにワークリクエストを投入し、ネットワークカード上のハードウェアによって直接処理されます。これにより、ソフトウェアからハードウェアへの「ゼロコピー」通信パスが実現します。さらに、IBプロトコルには、ハードウェアで実装された、信用ベースのエンドツーエンドのフロー制御およびホップバイホップの輻輳制御メカニズムが組み込まれています。これらのメカニズムはネットワーク輻輳に迅速に対応し、高スループットと公平性を保証します。合理化されたプロトコルスタックとハードウェアオフロード機能を活用し、IBネットワークは1マイクロ秒未満のエンドツーエンドレイテンシと400Gbps（現在の主流は200G/400G）までの帯域幅を提供できます。

1.2 RoCE：イーサネット上のRDMA技術

RoCE（RDMA over Converged Ethernet）の中核となる考え方は、「イーサネット上でRDMAを実行する」ことです。これは、イーサネットの普遍性とコスト優位性をRDMAの高性能と組み合わせようとする試みです。RoCEには2つの主要バージョンがあります：RoCE v1はイーサネットリンク層（L2）に基づき、単一のブロードキャストドメイン（同一VLAN）内でのみ動作します。RoCE v2はUDP/IPプロトコル（L3）に基づき、IPサブネット間でルーティング可能であり、導入の柔軟性が大幅に向上しているため、現在の主流となっています。

RoCEは、IBトランスポート層プロトコルパケットをイーサネットフレーム（v1）またはUDP/IPパケット（v2）内にカプセル化し、標準的なRDMA操作を一般的なイーサネットインフラ上で実行できるようにします。RoCEの成功における重要な前提条件は、ロスレスイーサネット環境の構築です。イーサネット自体は「ベストエフォート」であるため、パケット損失はRoCEの性能に壊滅的な影響を及ぼす可能性があります。したがって、RoCEネットワークはロスレスイーサネットとして構成する必要があり、Priority-based Flow Control（PFC） や Explicit Congestion Notification（ECN） などの技術を利用して、リンク輻輳時に特定の優先度（すなわちRoCEトラフィック）の送信を一時停止し、パケット損失を防ぎます。

IBと同様に、RoCEもRDMAプロトコルスタックをオフロードするためにRoCEをサポートする専用ネットワークカードを必要とし、カーネルの関与を回避します。その**の利点は、既存のデータセンターイーサネットスイッチ（PFC/ECNをサポートする必要がある）を導入に活用できることであり、既存投資を保護します。

2 GPUとネットワーキング技術のマッチング

性能と位置付けが異なるさまざまなGPUは、ネットワーク技術と組み合わせることで異なる結果をもたらします。コストと性能を最適化するには、適切なネットワーキングソリューションを選択することが極めて重要です。

2.1 ハイエンドGPUとIBネットワーキングの理想的な組み合わせ

NVIDIA A100、H100、H200などのハイエンドデータセンターGPUにとって、IBネットワーキングはゴールドスタンダードと考えられています。これらのGPUは大規模なAIトレーニングとHPCアプリケーション向けに設計されており、強力な計算能力と高速のNVLink相互接続技術を備えています。これらのGPUが数千億パラメータ規模の大規模モデルを処理する場合、ノード間で大量の勾配パラメータを頻繁に交換する必要があり、ネットワーク帯域幅とレイテンシは全体の性能における重要なボトルネックとなります。

NVIDIA A100 GPUを搭載したクラウドサーバーを例にとると、g2na100_ibモデルは特にIBネットワークカードを内蔵し、12.5Gbpsから100Gbpsの内部ネットワーク帯域幅をサポートし、「高速データ転送を必要とするAI、深層学習、HPCビジネスシナリオ」を対象としています。このような高性能環境では、IBネットワークはハイエンドGPUの計算潜在能力を**限に発揮させ、分散トレーニングプロセス中にネットワークが性能のボトルネックにならないことを保証できます。

NVIDIAの最新のBlackwellアーキテクチャGPU（B200、GB200など）については、そのモデル規模と相互接続の必要性がさらに巨大であるため、IBネットワークの優位性はより一層明らかになります。これらのハイエンドアプリケーションシナリオでは、IBネットワークの**の性能と安定性の利点が、高い初期投資コストを完全に正当化し、大規模クラスターの選択肢となります。

2.2 コストパフォーマンスに優れた選択：ミッド～ハイエンドGPUとRoCE

NVIDIA A100（一部のシナリオでは）、A800、H20、L40Sなどの中～ハイエンドグラフィックスカード、およびNVIDIA V100などの前世代のフラッグシップGPUにとって、RoCEネットワーキングは優れたコストパフォーマンスを提供します。これらのGPUは通常、中規模のAIトレーニング、推論タスク、部門レベルのHPCクラスターに使用され、ネットワーク需要は依然として高いですが、予算が重要な検討事項となる可能性があります。

実際には、64GPUのAIコンピューティング環境において、H3C S9827シリーズスイッチを使用するRoCEネットワークと、NVIDIA QM9700スイッチを使用するIBネットワークは、NCCLコレクティブ通信ライブラリおよびLlama3大規模モデルテストにおいて「同等の性能と一貫したユーザーエクスペリエンス」を示しました。同様に、H3C S9825-GおよびS9855-Gシリーズスイッチを使用するRoCEネットワークも、IBネットワークに匹敵する性能レベルを達成しました。

国産GPU（ムーアスレッド、壁仞科技（Biren Technology）、燧原科技（Enflame）などの製品）については、RoCEネットワークも強力な適応性を示しています。柏睿數據（BaiRui Data）の国産GPUサーバー32台クラスター（256カード）におけるハイブリッドネットワーキングでは、RoCEソリューションが優れた性能を示し、海外技術の独占を打破し、国産代替ソリューションに強力な支援を提供しました。コストの面では、柏睿數據のRoCEネットワーキングソリューションは、100GbpsレートでInfiniBandネットワーキングソリューションと比較して約36％のコスト削減を実現し、400Gbpsレートでも約14.3％のコスト削減を達成しました。

2.3 コンシューマー向けGPUのネットワーキング考慮事項

NVIDIA RTX 4090、4090Dなどのコンシューマー向けフラッグシップGPUを使用する小規模な研究チームやスタートアップ、あるいは開発・テスト環境では、ネットワークの選択はより複雑になることがよくあります。これらのグラフィックスカードは通常、公式のマルチノード相互接続サポートを欠いていますが、サードパーティ製ソリューションを通じてクラスター化された導入が可能です。

このようなシナリオでは、RoCEネットワークの経済的優位性がさらに顕著になります。RoCE対応のイーサネットネットワークカード（NVIDIA ConnectX-6またはConnectX-7シリーズなど）をインストールし、PFCをサポートするイーサネットスイッチを設定することで、低コストで高性能なトレーニングクラスターを構築できます。このような構成では、ネットワーク性能が要求を満たすことを保証するために、より多くの調整とテストが必要となることに注意する必要があります。

表：異なるGPUとネットワーキング技術の組み合わせ推奨

3 ネットワーキング性能に影響する主要因の分析

ネットワーク技術を選択する際には、GPUの全性能潜在能力を十分に引き出すために、性能に影響するさまざまな要因を包括的に考慮することが不可欠です。

3.1 PCIeボトルネック：無視できない制限要因

IBとRoCEのどちらのネットワーキングを選択する場合でも、PCIe帯域幅という潜在的なボトルネックに注意を払う必要があります。8基のA100 GPUを搭載した単一サーバーを例にとると、主要なリンクの帯域幅には顕著な違いがあります：

• 同一ホスト上のGPU間：NVLinkを使用、双方向帯域幅は600 GB/s、単方向帯域幅は300 GB/s。

• 同一ホスト上のGPUと各自のネットワークインターフェースカード（NIC）間：PCIe Gen4スイッチチップを利用、双方向帯域幅は64 GB/s、単方向帯域幅は32 GB/s。

• 異なるホスト間のGPU間：データ転送はNICに依存、帯域幅は使用する特定のNICに依存。現在、中国で一般的に使用されているA100/A800モデルのNICの主流な単方向帯域幅は100 Gbps（12.5 GB/s）。

これは、ホスト間通信の性能はホスト内通信に比べて大幅に低下することを示しています。200 Gbps（25 GB/s）は既にPCIe Gen4の単方向帯域幅制限に近づいています。したがって、PCIe Gen4構成で400 Gbps NICを使用しても顕著な利点は得られず、400 Gbps帯域幅を完全に活用するにはPCIe Gen5の性能が必要です。ネットワークソリューションを選択する際は、ネットワーク帯域幅がPCIe帯域幅と一致していることを確認し、リソースの浪費を避けることが不可欠です。

3.2 ネットワークアーキテクチャと輻輳制御

ネットワークアーキテクチャ設計と輻混制御メカニズムは性能に重大な影響を及ぼします。IBネットワークはネイティブの輻混制御メカニズムを採用し、ハードウェアで実装されるため、ネットワーク状態の変化に迅速に対応できます。一方、RoCEネットワークはPFC（Priority-based Flow Control） やECN（Explicit Congestion Notification） などのメカニズムに依存してロスレスネットワークを構築します。不適切な構成は「ヘッドオブラインブロッキング」や「PFCデッドロック」などの問題を引き起こす可能性があります。

DDC（Distributed Disaggregated Chassis） 技術のような新しいネットワークアーキテクチャは、VOQ（Virtual Output Queue）/CELLスイッチングなどの高度なハードウェア技術を利用し、リンク使用率とスループットを向上させ、HPCおよびAIサービスが伝送ネットワークに求める低転送レイテンシと低パケット損失率の要求を完全に満たします。テスト結果は、RoCEネットワークにおいて、DDCが従来のECMPハッシュ方式と比較して総バス帯域幅で大きな利点があることを示しています。

ネットワークアーキテクチャの選択もクラスターの規模によって異なります。小規模ネットワーキングでは、シングルボックスまたはシングルシャーシのソリューションが推奨され、GPUサーバーのすべてのパラメータネットワークカードがスイッチに接続されます。異なるサーバーから同じシーケンス番号のネットワークカードは同じVLANに構成され、通信ホップ数と通信レイテンシを削減します。中規模から大規模のネットワーキングでは、国産GPUサーバーはマルチレールアクセス方式を採用でき、Leaf-Spineネットワークアーキテクチャを通じて効率的なデータ転送を実現します。

3.3 ソフトウェアエコシステムと運用上の考慮事項

ソフトウェアエコシステムと運用の複雑さも選択における重要な要素です。IBネットワーキングは技術的により成熟しており、複雑なパラメータ調整を必要とせず、より迅速な導入が可能ですが、そのエコシステムは比較的単一で、NVIDIAが支配的です。RoCEはイーサネットベースであり、エコシステムはよりオープンで、多数のサプライヤー（華為技術（Huawei）、H3C、中興通訊（ZTE）、鋭捷網絡（Ruijie Networks）など）が存在しますが、より複雑なパラメータ調整を必要とします。

運用と保守に関しては、IBネットワークはその専門性のため、専任のチームによる管理が必要です。RoCEネットワークは既存のイーサネット運用経験とツールチェーンを活用できますが、ロスレスネットワークの構成とトラブルシューティングには深い学習が必要です。ネットワーキング規模の点では、IBネットワークは数万GPU規模のクラスターをサポートできますが、RoCEv2は数千GPU規模のクラスターで良好に動作し、そのネットワーキング性能は継続的に最適化されています。

4 実際のアプリケーションシナリオと選択ガイド

上記の分析に基づいて、異なるアプリケーションシナリオに対して具体的なネットワーキングの推奨事項を提供できます。

4.1 大規模クラスターと先端研究

***スーパーコンピューティングセンター、トップクラスのAI研究機関、大規模クラウドサービスプロバイダーでは、レイテンシのマイクロ秒単位、効率性のワット単位がすべて重要であるため、InfiniBandは疑いようのない選択肢です。特にNVIDIA H100、H200、またはBlackwellアーキテクチャGPUなどのトップクラスのハードウェアを使用する場合、IBネットワークはネットワークが全体の性能のボトルネックにならないことを保証します。

このようなシナリオは通常、以下の特徴を持っています：

• 大規模なコンピューティングクラスター（数千GPU以上）

• 十分な予算、**の性能の追求

• 専門的なIBネットワーク運用チームの保有

• 数千億パラメータ規模の超大型モデルの処理

これらの環境では、IBネットワークの**の性能と成熟した安定性の利点が最も明らかであり、その高い初期投資を完全に正当化します。

4.2 中規模および企業アプリケーション

企業データセンター、中規模AIラボ、部門レベルのHPCクラスターでは、RoCEネットワーキングが性能とTCO（総所有コスト）の理想的なバランスを提供します。これらのシナリオは通常：

• 数百から数千GPUのクラスター規模

• 性能とTCOのバランスを取る必要性

• イーサネット技術により精通した運用チーム

• A100、A800、H20などの中～ハイエンドグラフィックスカードの使用

このようなアプリケーションでは、高密度の400GE/100GEポートをサポートするH3C S9825/9855-Gシリーズなどのイーサネットスイッチを選択し、RoCEネットワークカードと組み合わせて高性能ネットワークを構築できます。実際には、このような構成はコストを管理しながら、IBネットワークに匹敵する性能体験を提供できます。

4.3 小規模および実験環境

スタートアップ、学術研究チーム、開発・テスト環境で、コンシューマー向けグラフィックスカードまたは少数のデータセンターGPUを使用してクラスターを構築する場合、RoCE、または場合によっては高速TCP/IPネットワークでさえも合理的な選択肢となります。これらのシナリオは通常：

• 数十GPU以内のクラスター規模

• 厳しく制限された予算

• 迅速な導入と容易なメンテナンスの必要性

• 国産GPUまたはコンシューマー向けGPUを含む可能性

このような環境では、既存のイーサネットインフラを活用し、RoCE対応ネットワークカードと組み合わせて、コスト効率の高い高性能コンピューティングクラスターを構築することが優先されます。柏睿數據（BaiRui Data）の小規模ネットワーキングソリューションは、導入と管理プロセスを簡素化するシングルボックスまたはシングルシャーシのオプションを提供します。

5 将来の技術動向

計算需要の継続的な進化に伴い、IBとRoCEの技術も発展を続けており、いくつかの明確な傾向を示しています。

一方で、IB技術は性能の頂点をリードし続けており、次世代のIB製品はより高い帯域幅とより低いレイテンシをサポートし、将来の兆パラメータ規模のモデルトレーニングの要求を満たします。他方で、RoCE技術は急速に成熟しており、DDC、SmartNICなど、より多くの最適化技術により、RoCEとIBの**の性能における差が縮められています。

標準化と相互運用性に関しては、RoCEはそのイーサネット基盤により、よりオープンなエコシステムの発展を促進し、従来のIB分野の閉鎖性を打破しています。烏鎮智庫（Wuzhen Institute）の専門家は次のように述べています：「RoCEネットワークは純粋な分散型ネットワークであり、RDMA技術を従来のイーサネットに適用したもので、本質的にはネットワークカードカプセル化技術です」。この特性により、RoCEは業界の広範な支持を得やすくなっています。

さらに、国産化の傾向もRoCE技術の発展を推進しています。国産GPUとスイッチ技術の進歩に伴い、RoCEはよりオープンな技術標準として、自然に国産ソリューションの選択肢となります。国内のデータセンタースイッチメーカー（華為技術、H3C、中興通訊、鋭捷網絡など）はすべて、RoCE関連製品を積極的に展開しています。

6 結論

AIとHPCの分野では、InfiniBandとRoCEネットワーキングのどちらを選択するかは、単純な技術選定ではなく、GPUタイプ、アプリケーションシナリオ、クラスター規模、総所有コストを包括的に考慮する多面的な決定です。

ハイエンドデータセンターGPU（H100、A100など）を使用し、**の性能を追求する大規模クラスターでは、InfiniBandが依然として優先されるソリューションです。その優れたレイテンシ性能と成熟したエコシステムは、ミッションクリティカルなタスクに信頼できる保証を提供します。

ミッド～ハイエンドGPU（A800、L40Sなど）または国産GPUを使用する中規模クラスターでは、RoCEが魅力的なコストパフォーマンス比を提供し、コストを管理しながらほとんどのアプリケーションシナリオの性能要求を満たすことができます。

どちらの技術を選択する場合でも、PCIe帯域幅、ネットワークアーキテクチャ、ソフトウェア調整などの重要な要素に注意を払い、ネットワークがコンピューティングクラスター全体のボトルネックにならないことを確認する必要があります。技術が絶えず発展する中で、IBとRoCEの競争環境は変化する可能性がありますが、目標は一貫しています：すべてのグラフィックスカードの計算潜在能力を**限に活用し、科学的発見と技術革新を加速することです。