Linux version

Mellanox OFED is a software stack based on the Open-Fabrics (OFED) Linux stack. Works with all Mellanox network adapters including 10, 20 and 40 Gb/s InfiniBand as well as 10Gb/s Ethernet and Fiber Channel over Ethernet.
Open-Fabrics (OFED) Linux stack can be downloaded from the following URL.
https://www.openfabrics.org/ (Open-Fabrics homepage)

1. Hardware and software requirements

Hardware requirements

【platform】
- A server platform that has a card with one of the following Mellanox InfiniBand HCA devices inserted:
・ConnectXR (VPI, IB, EN, FCoE) (firmware: fw-25408)
・InfiniHostR III Ex (firmware: fw-25218 for Mem-Free cards, and fw-25208 for cards with memory)
・InfiniHost R III Lx (firmware: fw-25204)
・InfiniHostR (firmware: fw-23108)

*See Mellanox OFED release notes for list of supported platform architectures.

[Disk space required for installation]
400MB

Software requirements

【operating system】
Linux operating system

*See the Mellanox OFED release notes for a list of supported operating system distributions and kernels.

2. Download Mellanox OFED

STEP1 : Verify if the system recognizes Mellanox HCA/NIC

Below is an example of a recognized Mellanox HCA system

host1# lspci -v | grep Mellanox

02:00.0 InfiniBand: Mellanox Technologies MT25418 [ConnectX IB DDR, PCIe 2.0 2.5GT/s] (rev a0)

STEP2 : Download ISO image to host

You can download it from http://www.mellanox.com > Products > IB SW/Drivers

The image name will be MLNX_OFED_LINUX--.iso.

STEP3 : Check the integrity of the ISO image file with the md5sum utility

Execute the following command and compare it with the value listed on the download page.

host1$ md5sum MLNX_OFED_LINUX--.iso

3. Installing Mellanox OFEDs

[Execution contents of the installation script mlnxofedinstall]
・Detection of installed kernel
- Uninstall software stacks that are part of the standard operating system or other vendor's commercial stacks
・Install MLNX_OFED_LINUX binary RPM
・Identify the installed Infiniband/Ethernet network card and automatically upgrade the firmware

Script usage: ./mlnxofedinstall [options]

*If no options are specified, all available RPMs will be installed.

Installation instructions

STEP1. Login to the device as root

STEP2. Mount the ISO image on the device

host1# mount -o ro,loop MLNX_OFED_LINUX--.iso /mnt

STEP3. Run the installation script

host1# /mnt/mlnxofedinstall

This program will install the MLNX_OFED_LINUX package on your machine.

Note that all other Mellanox, OEM, OFED, or Distribution IB packages will be removed.

Do you want to continue?[y/N]:y

Uninstalling the previous version of OFED

Starting MLNX_OFED_LINUX-1.4 installation ...

Installing kernel-ib RPMs

Preparing... ########################################### [100%]

1: kernel-ib ############################################# [100 %]

Installing kernel-ib-devel RPMs

Preparing... ########################################### [100%]

1:kernel-ib-devel ############################################# [100%]

Installing ib-bonding RPM

Preparing... ########################################### [100%]

1:ib-bonding ########################################### [100%]

Installing mft RPM

Preparing... ########################################### [100%]

1:mft ########################################### [100%]

Installing mpi-selector RPM

Preparing... ########################################### [100%]

1: mpi-selector ############################################[100 %]

Install user level RPMs:

Preparing... ########################################### [100%]

1:libibverbs-devel ########################################### [ 1%]

2:libibcommon ########################################### [ 3%]

3:libibcommon ########################################### [ 4%]

4:libibumad ########################################### [ 5%]

5:libibumad ########################################### [ 7%]

6:libibmad ########################################### [ 8%]

7:libibmad ########################################### [ 9%]

8:ofed-scripts ########################################### [ 11%]

9:libibverbs ########################################### [ 12%]

10:libibverbs ########################################### [ 14%]

11:libibverbs-devel ########################################### [ 15%]

12:libibverbs-devel-static ########################################### [ 16%]

13:libibverbs-devel-static ########################################### [ 18%]

14:libibverbs-utils ########################################### [ 19%]

15:libmthca ########################################### [ 20%]

16:libmthca ########################################### [ 22%]

17:libmthca-devel-static ########################################### [ 23%]

18:libmthca-devel-static ########################################### [ 24%]

19:libmlx4 ########################################### [ 26%]

20:libmlx4 ########################################### [ 27%]

21:libibcm ########################################### [ 28%]

22:libibcm ########################################### [ 30%]

23:libibcm-devel ########################################### [ 31%]

24:libibcm-devel ########################################### [ 32%]

25:libibcommon-devel ########################################### [ 34%]

26:libibcommon-devel ########################################### [ 35%]

27:libibcommon-static ########################################### [ 36%]

28:libibcommon-static ########################################### [ 38%]

29:libibumad-devel ########################################### [ 39%]

30:libibumad-devel ########################################### [ 41%]

31:libibumad-static ########################################### [ 42%]

32:libibumad-static ########################################### [ 43%]

33:libibmad-devel ########################################### [ 45%]

34:libibmad-devel ########################################### [ 46%]

35:libibmad-static ########################################### [ 47%]

36:libibmad-static ########################################### [ 49%]

37:ibsim ########################################### [ 50%]

38: librdmacm ############################################ [51%]

39:librdmacm ########################################### [ 53%]

40:librdmacm-utils ########################################### [ 54%]

41:librdmacm-devel ########################################### [ 55%]

42:librdmacm-devel ########################################### [ 57%]

43:libsdp ########################################### [ 58%]

44:libsdp ########################################### [ 59%]

45:libsdp-devel ########################################### [ 61%]

46:libsdp-devel ########################################### [ 62%]

47:opensm-libs ########################################### [ 64%]

48:opensm-libs ########################################### [ 65%]

49:opensm ########################################### [ 66%]

50:opensm-devel ########################################### [ 68%]

51:opensm-devel ########################################### [ 69%]

52:opensm-static ########################################### [ 70%]

53:opensm-static ########################################### [ 72%]

54:perftest ########################################### [ 73%]

55:mstflint ########################################### [ 74%]

56:sdpnetstat ########################################### [ 76%]

57:srptools ########################################### [ 77%]

58:rds-tools ########################################### [ 78%]

59: ibutils ############################################ [80%]

60: infiniband-diags ##############################################[81 %]

61: qperf ############################################ [82%]

62:mlnxofed-docs ########################################### [ 84%]

63:mvapich_gcc ########################################### [ 85%]

64:mvapich_pgi ########################################### [ 86%]

65:mvapich_intel ########################################### [ 88%]

66:openmpi_gcc ########################################### [ 89%]

67:openmpi_pgi ########################################### [ 91%]

68:openmpi_intel ########################################### [ 92%]

69:mpitests_mvapich_gcc ########################################### [ 93%]

70: mpitests_mvapich_pgi ########################################### [95%]

71:mpitests_mvapich_intel ########################################### [ 96%]

72:mpitests_openmpi_gcc ########################################### [ 97%]

73:mpitests_openmpi_pgi ########################################### [ 99%]

74:mpitests_openmpi_intel ########################################### [100%]

Device (15b3:634A):

08:00.0 InfiniBand: Mellanox Technologies MT25408 ConnectX VPI PCIe 2.0

2.5GT/s - IB DDR/10GigE

Link Width: 8x

Link Speed: 5Gb/s

Installation finished successfully.

Programming HCA firmware...

Device: /dev/mst/mt25418_pci_cr0

Running: mlxburn -d /dev/mst/mt25418_pci_cr0 -fw ./firmware/fw-25408/fw-25408-rel.mlx -no-I- Image burn completed successfully.

warning: /etc/infiniband/openib.conf saved as /etc/infiniband/openib.conf.rpmsave

Please reboot your system for the changes to take effect.

STEP4. If the installation script upgrades the firmware of the network adapter card, it will ask you to reboot the device.

STEP5.hca_self_test.ofed utility can be used to check the link status, firmware, driver version information, etc.

host1# /usr/bin/hca_self_test.ofed

---- Performing InfiniBand HCA Self Test ----

Number of HCAs Detected ................ 1

PCI Device Check ................. PASS

Kernel Arch ................................ x86_64

Host Driver Version ................... MLNX_OFED_LINUX-1.4 (OFED-1.4-mlnx8) 1.4-

2.6.9_78.0.1.ELlargesmp

Host Driver RPM Check .................. PASS

HCA Firmware on HCA #0 ................ 2.6.000

HCA Firmware Check on HCA #0 ...........PASS

Host Driver Initialization ...........PASS

Number of HCA Ports Active ............. 0

Port State of Port #0 on HCA #0 ........ INIT

Port State of Port #0 on HCA #0 ........ DOWN

Error Counter Check on HCA #0 ..........PASS

Kernel Syslog Check ................... PASS

Node GUID on HCA #0 ................... 00:02:c9:03:00:00:10:e0

------------------ DONE ---------------------

5. Uninstalling Mellanox OFED

You can uninstall using the /usr/sbin/ofed_uninstall.sh script.