Linux編
Mellanox OFED は Open-Fabrics (OFED) Linux stack をベースにしたソフトウェアスタックです。10, 20, 40 Gb/s インフィニバンドだけでなく、 10Gb/s イーサネットやファイバーチャネルオーバイーサネットなどすべての Mellanox ネットワークアダプタ製品にて動作いたします。
Open-Fabrics (OFED) Linux stack に関しては以下の URL からダウンロードいただけます。
https://www.openfabrics.org/ ( Open-Fabrics ホームページ )
1. ハードウェア、ソフトウェアの必要条件
ハードウェアの必要条件
【プラットフォーム】
・次の Mellanox 社のいずれかのインフィニバンド HCA デバイスを持ったカードが挿入されているサーバプラットフォーム
・ConnectXR (VPI, IB, EN, FCoE) (firmware: fw-25408)
・InfiniHostR III Ex (firmware: fw-25218 for Mem-Free cards, and fw-25208 for cards with memory)
・InfiniHostR III Lx (firmware: fw-25204)
・InfiniHostR (firmware: fw-23108)
※対応するプラットフォームアーキテクチャのリストは Mellanox OFED リリースノートを参照ください。
【インストールに必要とされるディスクスペース】
400 MB
ソフトウェアの必要条件
【オペレーティングシステム】
Linux オペレーティングシステム
※対応するオペレーティングシステムのディストリビューションとカーネルのリストは Mellanox OFED リリースノートを参照ください。
2. Mellanox OFED のダウンロード
STEP1 : システムが Mellanox HCA/NIC を認識しているかを検証
以下認識された Mellanox HCA のシステムの例
host1# lspci -v | grep Mellanox
02:00.0 InfiniBand: Mellanox Technologies MT25418 [ConnectX IB DDR, PCIe 2.0 2.5GT/s] (rev a0)
STEP2 : ISO イメージをホストにダウンロード
http://www.mellanox.com > Products > IB SW/Drivers よりダウンロードでき、
イメージ名 MLNX_OFED_LINUX--.iso となります。
STEP3 : md5sumユーティリティにてISOイメージファイルの整合性を確認
以下のコマンドを実行しダウンロードページに記載されている値と比較します。
host1$ md5sum MLNX_OFED_LINUX--.iso
3. Mellanox OFED のインストール
【インスールスクリプト mlnxofedinstall の実行内容】
・インストールされているカーネルの検知
・標準オペレーティングシステムや他のベンダーのコマーシャルスタックの一部となっているソフトウェアスタックをアンインストール
・MLNX_OFED_LINUX バイナリ RPM をインストール
・挿入されている Infiniband/Ethernet ネットワークカードを識別し自動的に Firmware をアップグレード
スクリプト使用方法 : ./mlnxofedinstall [オプション]
※オプションが指定されない場合、すべての利用可能な RPM がインストールされます。
インストール手順
STEP1. root として装置にログイン
STEP2. ISO イメージを装置に mount
STEP3. インストールスクリプトを実行
host1# /mnt/mlnxofedinstall
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, or Distribution IB packages will be removed.
Do you want to continue?[y/N]:y
Uninstalling the previous version of OFED
Starting MLNX_OFED_LINUX-1.4 installation ...
Installing kernel-ib RPM
Preparing... ########################################### [100%]
1:kernel-ib ########################################### [100%]
Installing kernel-ib-devel RPM
Preparing... ########################################### [100%]
1:kernel-ib-devel ########################################### [100%]
Installing ib-bonding RPM
Preparing... ########################################### [100%]
1:ib-bonding ########################################### [100%]
Installing mft RPM
Preparing... ########################################### [100%]
1:mft ########################################### [100%]
Installing mpi-selector RPM
Preparing... ########################################### [100%]
1:mpi-selector ########################################### [100%]
Install user level RPMs:
Preparing... ########################################### [100%]
1:libibverbs-devel ########################################### [ 1%]
2:libibcommon ########################################### [ 3%]
3:libibcommon ########################################### [ 4%]
4:libibumad ########################################### [ 5%]
5:libibumad ########################################### [ 7%]
6:libibmad ########################################### [ 8%]
7:libibmad ########################################### [ 9%]
8:ofed-scripts ########################################### [ 11%]
9:libibverbs ########################################### [ 12%]
10:libibverbs ########################################### [ 14%]
11:libibverbs-devel ########################################### [ 15%]
12:libibverbs-devel-static ########################################### [ 16%]
13:libibverbs-devel-static ########################################### [ 18%]
14:libibverbs-utils ########################################### [ 19%]
15:libmthca ########################################### [ 20%]
16:libmthca ########################################### [ 22%]
17:libmthca-devel-static ########################################### [ 23%]
18:libmthca-devel-static ########################################### [ 24%]
19:libmlx4 ########################################### [ 26%]
20:libmlx4 ########################################### [ 27%]
21:libibcm ########################################### [ 28%]
22:libibcm ########################################### [ 30%]
23:libibcm-devel ########################################### [ 31%]
24:libibcm-devel ########################################### [ 32%]
25:libibcommon-devel ########################################### [ 34%]
26:libibcommon-devel ########################################### [ 35%]
27:libibcommon-static ########################################### [ 36%]
28:libibcommon-static ########################################### [ 38%]
29:libibumad-devel ########################################### [ 39%]
30:libibumad-devel ########################################### [ 41%]
31:libibumad-static ########################################### [ 42%]
32:libibumad-static ########################################### [ 43%]
33:libibmad-devel ########################################### [ 45%]
34:libibmad-devel ########################################### [ 46%]
35:libibmad-static ########################################### [ 47%]
36:libibmad-static ########################################### [ 49%]
37:ibsim ########################################### [ 50%]
38:librdmacm ########################################### [ 51%]
39:librdmacm ########################################### [ 53%]
40:librdmacm-utils ########################################### [ 54%]
41:librdmacm-devel ########################################### [ 55%]
42:librdmacm-devel ########################################### [ 57%]
43:libsdp ########################################### [ 58%]
44:libsdp ########################################### [ 59%]
45:libsdp-devel ########################################### [ 61%]
46:libsdp-devel ########################################### [ 62%]
47:opensm-libs ########################################### [ 64%]
48:opensm-libs ########################################### [ 65%]
49:opensm ########################################### [ 66%]
50:opensm-devel ########################################### [ 68%]
51:opensm-devel ########################################### [ 69%]
52:opensm-static ########################################### [ 70%]
53:opensm-static ########################################### [ 72%]
54:perftest ########################################### [ 73%]
55:mstflint ########################################### [ 74%]
56:sdpnetstat ########################################### [ 76%]
57:srptools ########################################### [ 77%]
58:rds-tools ########################################### [ 78%]
59:ibutils ########################################### [ 80%]
60:infiniband-diags ########################################### [ 81%]
61:qperf ########################################### [ 82%]
62:mlnxofed-docs ########################################### [ 84%]
63:mvapich_gcc ########################################### [ 85%]
64:mvapich_pgi ########################################### [ 86%]
65:mvapich_intel ########################################### [ 88%]
66:openmpi_gcc ########################################### [ 89%]
67:openmpi_pgi ########################################### [ 91%]
68:openmpi_intel ########################################### [ 92%]
69:mpitests_mvapich_gcc ########################################### [ 93%]
70:mpitests_mvapich_pgi ########################################### [ 95%]
71:mpitests_mvapich_intel ########################################### [ 96%]
72:mpitests_openmpi_gcc ########################################### [ 97%]
73:mpitests_openmpi_pgi ########################################### [ 99%]
74:mpitests_openmpi_intel ########################################### [100%]
Device (15b3:634A):
08:00.0 InfiniBand: Mellanox Technologies MT25408 ConnectX VPI PCIe 2.0
2.5GT/s - IB DDR / 10GigE
Link Width: 8x
Link Speed: 5Gb/s
Installation finished successfully.
Programming HCA firmware...
Device: /dev/mst/mt25418_pci_cr0
Running: mlxburn -d /dev/mst/mt25418_pci_cr0 -fw ./firmware/fw-25408/fw-25408-rel.mlx -no-I- Image burn completed successfully.
warning: /etc/infiniband/openib.conf saved as /etc/infiniband/openib.conf.rpmsave
Please reboot your system for the changes to take effect.
STEP4. インストールスクリプトにてネットワークアダプタカードの Firmware アップグレードが行われた場合、装置のリブートが要求されます。
STEP5.hca_self_test.ofed ユーティリティにてリンク状態、Firmware、ドライバのバージョン情報など確認できます。
host1# /usr/bin/hca_self_test.ofed
---- Performing InfiniBand HCA Self Test ----
Number of HCAs Detected ................ 1
PCI Device Check ....................... PASS
Kernel Arch ............................ x86_64
Host Driver Version .................... MLNX_OFED_LINUX-1.4 (OFED-1.4-mlnx8) 1.4-
2.6.9_78.0.1.ELlargesmp
Host Driver RPM Check .................. PASS
HCA Firmware on HCA #0 ................. 2.6.000
HCA Firmware Check on HCA #0 ........... PASS
Host Driver Initialization ............. PASS
Number of HCA Ports Active ............. 0
Port State of Port #0 on HCA #0 ........ INIT
Port State of Port #0 on HCA #0 ........ DOWN
Error Counter Check on HCA #0 .......... PASS
Kernel Syslog Check .................... PASS
Node GUID on HCA #0 .................... 00:02:c9:03:00:00:10:e0
------------------ DONE ---------------------
5. Mellanox OFED のアンインストール
/usr/sbin/ofed_uninstall.sh スクリプトを使用してアンインストールできます。