Linux編

Mellanox OFED は Open-Fabrics (OFED) Linux stack をベースにしたソフトウェアスタックです。10, 20, 40 Gb/s インフィニバンドだけでなく、 10Gb/s イーサネットやファイバーチャネルオーバイーサネットなどすべての Mellanox ネットワークアダプタ製品にて動作いたします。
Open-Fabrics (OFED) Linux stack に関しては以下の URL からダウンロードいただけます。
https://www.openfabrics.org/ ( Open-Fabrics ホームページ )

1. ハードウェア、ソフトウェアの必要条件

ハードウェアの必要条件

【プラットフォーム】
・次の Mellanox 社のいずれかのインフィニバンド HCA デバイスを持ったカードが挿入されているサーバプラットフォーム
・ConnectXR (VPI, IB, EN, FCoE) (firmware: fw-25408)
・InfiniHostR III Ex (firmware: fw-25218 for Mem-Free cards, and fw-25208 for cards with memory)
・InfiniHostR III Lx (firmware: fw-25204)
・InfiniHostR (firmware: fw-23108)

※対応するプラットフォームアーキテクチャのリストは Mellanox OFED リリースノートを参照ください。

【インストールに必要とされるディスクスペース】
400 MB

ソフトウェアの必要条件

【オペレーティングシステム】
Linux オペレーティングシステム

※対応するオペレーティングシステムのディストリビューションとカーネルのリストは Mellanox OFED リリースノートを参照ください。

2. Mellanox OFED のダウンロード

STEP1 : システムが Mellanox HCA/NIC を認識しているかを検証

以下認識された Mellanox HCA のシステムの例

host1# lspci -v | grep Mellanox

02:00.0 InfiniBand: Mellanox Technologies MT25418 [ConnectX IB DDR, PCIe 2.0 2.5GT/s] (rev a0)

STEP2 : ISO イメージをホストにダウンロード

http://www.mellanox.com > Products > IB SW/Drivers よりダウンロードでき、

イメージ名 MLNX_OFED_LINUX--.iso となります。

STEP3 : md5sumユーティリティにてISOイメージファイルの整合性を確認

以下のコマンドを実行しダウンロードページに記載されている値と比較します。

host1$ md5sum MLNX_OFED_LINUX--.iso

3. Mellanox OFED のインストール

【インスールスクリプト mlnxofedinstall の実行内容】
・インストールされているカーネルの検知
・標準オペレーティングシステムや他のベンダーのコマーシャルスタックの一部となっているソフトウェアスタックをアンインストール
・MLNX_OFED_LINUX バイナリ RPM をインストール
・挿入されている Infiniband/Ethernet ネットワークカードを識別し自動的に Firmware をアップグレード

スクリプト使用方法 : ./mlnxofedinstall [オプション]

※オプションが指定されない場合、すべての利用可能な RPM がインストールされます。

インストール手順

STEP1. root として装置にログイン

STEP2. ISO イメージを装置に mount

host1# mount -o ro,loop MLNX_OFED_LINUX--.iso /mnt

STEP3. インストールスクリプトを実行

host1# /mnt/mlnxofedinstall

This program will install the MLNX_OFED_LINUX package on your machine.

Note that all other Mellanox, OEM, OFED, or Distribution IB packages will be removed.

Do you want to continue?[y/N]:y

Uninstalling the previous version of OFED

Starting MLNX_OFED_LINUX-1.4 installation ...

Installing kernel-ib RPM

Preparing... ########################################### [100%]

1:kernel-ib ########################################### [100%]

Installing kernel-ib-devel RPM

Preparing... ########################################### [100%]

1:kernel-ib-devel ########################################### [100%]

Installing ib-bonding RPM

Preparing... ########################################### [100%]

1:ib-bonding ########################################### [100%]

Installing mft RPM

Preparing... ########################################### [100%]

1:mft ########################################### [100%]

Installing mpi-selector RPM

Preparing... ########################################### [100%]

1:mpi-selector ########################################### [100%]

Install user level RPMs:

Preparing... ########################################### [100%]

1:libibverbs-devel ########################################### [ 1%]

2:libibcommon ########################################### [ 3%]

3:libibcommon ########################################### [ 4%]

4:libibumad ########################################### [ 5%]

5:libibumad ########################################### [ 7%]

6:libibmad ########################################### [ 8%]

7:libibmad ########################################### [ 9%]

8:ofed-scripts ########################################### [ 11%]

9:libibverbs ########################################### [ 12%]

10:libibverbs ########################################### [ 14%]

11:libibverbs-devel ########################################### [ 15%]

12:libibverbs-devel-static ########################################### [ 16%]

13:libibverbs-devel-static ########################################### [ 18%]

14:libibverbs-utils ########################################### [ 19%]

15:libmthca ########################################### [ 20%]

16:libmthca ########################################### [ 22%]

17:libmthca-devel-static ########################################### [ 23%]

18:libmthca-devel-static ########################################### [ 24%]

19:libmlx4 ########################################### [ 26%]

20:libmlx4 ########################################### [ 27%]

21:libibcm ########################################### [ 28%]

22:libibcm ########################################### [ 30%]

23:libibcm-devel ########################################### [ 31%]

24:libibcm-devel ########################################### [ 32%]

25:libibcommon-devel ########################################### [ 34%]

26:libibcommon-devel ########################################### [ 35%]

27:libibcommon-static ########################################### [ 36%]

28:libibcommon-static ########################################### [ 38%]

29:libibumad-devel ########################################### [ 39%]

30:libibumad-devel ########################################### [ 41%]

31:libibumad-static ########################################### [ 42%]

32:libibumad-static ########################################### [ 43%]

33:libibmad-devel ########################################### [ 45%]

34:libibmad-devel ########################################### [ 46%]

35:libibmad-static ########################################### [ 47%]

36:libibmad-static ########################################### [ 49%]

37:ibsim ########################################### [ 50%]

38:librdmacm ########################################### [ 51%]

39:librdmacm ########################################### [ 53%]

40:librdmacm-utils ########################################### [ 54%]

41:librdmacm-devel ########################################### [ 55%]

42:librdmacm-devel ########################################### [ 57%]

43:libsdp ########################################### [ 58%]

44:libsdp ########################################### [ 59%]

45:libsdp-devel ########################################### [ 61%]

46:libsdp-devel ########################################### [ 62%]

47:opensm-libs ########################################### [ 64%]

48:opensm-libs ########################################### [ 65%]

49:opensm ########################################### [ 66%]

50:opensm-devel ########################################### [ 68%]

51:opensm-devel ########################################### [ 69%]

52:opensm-static ########################################### [ 70%]

53:opensm-static ########################################### [ 72%]

54:perftest ########################################### [ 73%]

55:mstflint ########################################### [ 74%]

56:sdpnetstat ########################################### [ 76%]

57:srptools ########################################### [ 77%]

58:rds-tools ########################################### [ 78%]

59:ibutils ########################################### [ 80%]

60:infiniband-diags ########################################### [ 81%]

61:qperf ########################################### [ 82%]

62:mlnxofed-docs ########################################### [ 84%]

63:mvapich_gcc ########################################### [ 85%]

64:mvapich_pgi ########################################### [ 86%]

65:mvapich_intel ########################################### [ 88%]

66:openmpi_gcc ########################################### [ 89%]

67:openmpi_pgi ########################################### [ 91%]

68:openmpi_intel ########################################### [ 92%]

69:mpitests_mvapich_gcc ########################################### [ 93%]

70:mpitests_mvapich_pgi ########################################### [ 95%]

71:mpitests_mvapich_intel ########################################### [ 96%]

72:mpitests_openmpi_gcc ########################################### [ 97%]

73:mpitests_openmpi_pgi ########################################### [ 99%]

74:mpitests_openmpi_intel ########################################### [100%]

Device (15b3:634A):

08:00.0 InfiniBand: Mellanox Technologies MT25408 ConnectX VPI PCIe 2.0

2.5GT/s - IB DDR / 10GigE

Link Width: 8x

Link Speed: 5Gb/s

Installation finished successfully.

Programming HCA firmware...

Device: /dev/mst/mt25418_pci_cr0

Running: mlxburn -d /dev/mst/mt25418_pci_cr0 -fw ./firmware/fw-25408/fw-25408-rel.mlx -no-I- Image burn completed successfully.

warning: /etc/infiniband/openib.conf saved as /etc/infiniband/openib.conf.rpmsave

Please reboot your system for the changes to take effect.

STEP4. インストールスクリプトにてネットワークアダプタカードの Firmware アップグレードが行われた場合、装置のリブートが要求されます。

STEP5.hca_self_test.ofed ユーティリティにてリンク状態、Firmware、ドライバのバージョン情報など確認できます。

host1# /usr/bin/hca_self_test.ofed

---- Performing InfiniBand HCA Self Test ----

Number of HCAs Detected ................ 1

PCI Device Check ....................... PASS

Kernel Arch ............................ x86_64

Host Driver Version .................... MLNX_OFED_LINUX-1.4 (OFED-1.4-mlnx8) 1.4-

2.6.9_78.0.1.ELlargesmp

Host Driver RPM Check .................. PASS

HCA Firmware on HCA #0 ................. 2.6.000

HCA Firmware Check on HCA #0 ........... PASS

Host Driver Initialization ............. PASS

Number of HCA Ports Active ............. 0

Port State of Port #0 on HCA #0 ........ INIT

Port State of Port #0 on HCA #0 ........ DOWN

Error Counter Check on HCA #0 .......... PASS

Kernel Syslog Check .................... PASS

Node GUID on HCA #0 .................... 00:02:c9:03:00:00:10:e0

------------------ DONE --------------------- 

5. Mellanox OFED のアンインストール

/usr/sbin/ofed_uninstall.sh スクリプトを使用してアンインストールできます。