Infinibandのセットアップ on CentOS 5.4

まずはdriver関係をインストールする。全てCentOSのレポジトリにあるもので事足りる。yum search openfabricsとかで探すといっぱいでてくるから必要そうなものをかたっぱしからインストール。
opensmをどこかのノードにインストールする。これが無いとInfiniband経由での通信は出来ない。スイッチに内蔵しているものもある。その場合はインストールの必要は無い。
IPoIBを使う場合はifcfg-ib0をifcfg-eth0などを参考にして作成。基本的にフォーマットはいっしょ。
openibdが全てのノードで、opensmdがどこかのノードで起動してることを確認。
ibnodesで全てのノードおよびスイッチがリストアップされるか確認。ibstatとかも確認。
ibchecknetでErrorが無いか確認。counter errorが出た場合はibclearcountersとかibclearerrorsを試してみる。原因はよくわからん。

ibdiagnetで

-W- Suboptimal rate for group. Lowest member rate:20Gbps > group-rate:10Gbps

のように表示されたら、/etc/ofed/partitions.confに

HogeHogeInfini=0x7fff,ipoib,rate=6:ALL=full;

のように書いてみる。