Linux version
Mellanox OFED is a software stack based on the Open-Fabrics (OFED) Linux stack. Works with all Mellanox network adapters including 10, 20 and 40 Gb/s InfiniBand as well as 10Gb/s Ethernet and Fiber Channel over Ethernet.
Open-Fabrics (OFED) Linux stack can be downloaded from the following URL.
https://www.openfabrics.org/ (Open-Fabrics homepage)
1. Hardware and software requirements
Hardware requirements
【platform】
- A server platform that has a card with one of the following Mellanox InfiniBand HCA devices inserted:
・ConnectXR (VPI, IB, EN, FCoE) (firmware: fw-25408)
・InfiniHostR III Ex (firmware: fw-25218 for Mem-Free cards, and fw-25208 for cards with memory)
・InfiniHost R III Lx (firmware: fw-25204)
・InfiniHostR (firmware: fw-23108)
*See Mellanox OFED release notes for list of supported platform architectures.
[Disk space required for installation]
400MB
Software requirements
【operating system】
Linux operating system
*See the Mellanox OFED release notes for a list of supported operating system distributions and kernels.
2. Download Mellanox OFED
STEP1 : Verify if the system recognizes Mellanox HCA/NIC
Below is an example of a recognized Mellanox HCA system
host1# lspci -v | grep Mellanox
02:00.0 InfiniBand: Mellanox Technologies MT25418 [ConnectX IB DDR, PCIe 2.0 2.5GT/s] (rev a0)
STEP2 : Download ISO image to host
You can download it from http://www.mellanox.com > Products > IB SW/Drivers
The image name will be MLNX_OFED_LINUX--.iso.
STEP3 : Check the integrity of the ISO image file with the md5sum utility
Execute the following command and compare it with the value listed on the download page.
host1$ md5sum MLNX_OFED_LINUX--.iso
3. Installing Mellanox OFEDs
[Execution contents of the installation script mlnxofedinstall]
・Detection of installed kernel
- Uninstall software stacks that are part of the standard operating system or other vendor's commercial stacks
・Install MLNX_OFED_LINUX binary RPM
・Identify the installed Infiniband/Ethernet network card and automatically upgrade the firmware
Script usage: ./mlnxofedinstall [options]
*If no options are specified, all available RPMs will be installed.
Installation instructions
STEP1. Login to the device as root
STEP2. Mount the ISO image on the device
STEP3. Run the installation script
host1# /mnt/mlnxofedinstall
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, or Distribution IB packages will be removed.
Do you want to continue?[y/N]:y
Uninstalling the previous version of OFED
Starting MLNX_OFED_LINUX-1.4 installation ...
Installing kernel-ib RPMs
Preparing... ########################################### [100%]
1: kernel-ib ############################################# [100 %]
Installing kernel-ib-devel RPMs
Preparing... ########################################### [100%]
1:kernel-ib-devel ############################################# [100%]
Installing ib-bonding RPM
Preparing... ########################################### [100%]
1:ib-bonding ########################################### [100%]
Installing mft RPM
Preparing... ########################################### [100%]
1:mft ########################################### [100%]
Installing mpi-selector RPM
Preparing... ########################################### [100%]
1: mpi-selector ############################################[100 %]
Install user level RPMs:
Preparing... ########################################### [100%]
1:libibverbs-devel ########################################### [ 1%]
2:libibcommon ########################################### [ 3%]
3:libibcommon ########################################### [ 4%]
4:libibumad ########################################### [ 5%]
5:libibumad ########################################### [ 7%]
6:libibmad ########################################### [ 8%]
7:libibmad ########################################### [ 9%]
8:ofed-scripts ########################################### [ 11%]
9:libibverbs ########################################### [ 12%]
10:libibverbs ########################################### [ 14%]
11:libibverbs-devel ########################################### [ 15%]
12:libibverbs-devel-static ########################################### [ 16%]
13:libibverbs-devel-static ########################################### [ 18%]
14:libibverbs-utils ########################################### [ 19%]
15:libmthca ########################################### [ 20%]
16:libmthca ########################################### [ 22%]
17:libmthca-devel-static ########################################### [ 23%]
18:libmthca-devel-static ########################################### [ 24%]
19:libmlx4 ########################################### [ 26%]
20:libmlx4 ########################################### [ 27%]
21:libibcm ########################################### [ 28%]
22:libibcm ########################################### [ 30%]
23:libibcm-devel ########################################### [ 31%]
24:libibcm-devel ########################################### [ 32%]
25:libibcommon-devel ########################################### [ 34%]
26:libibcommon-devel ########################################### [ 35%]
27:libibcommon-static ########################################### [ 36%]
28:libibcommon-static ########################################### [ 38%]
29:libibumad-devel ########################################### [ 39%]
30:libibumad-devel ########################################### [ 41%]
31:libibumad-static ########################################### [ 42%]
32:libibumad-static ########################################### [ 43%]
33:libibmad-devel ########################################### [ 45%]
34:libibmad-devel ########################################### [ 46%]
35:libibmad-static ########################################### [ 47%]
36:libibmad-static ########################################### [ 49%]
37:ibsim ########################################### [ 50%]
38: librdmacm ############################################ [51%]
39:librdmacm ########################################### [ 53%]
40:librdmacm-utils ########################################### [ 54%]
41:librdmacm-devel ########################################### [ 55%]
42:librdmacm-devel ########################################### [ 57%]
43:libsdp ########################################### [ 58%]
44:libsdp ########################################### [ 59%]
45:libsdp-devel ########################################### [ 61%]
46:libsdp-devel ########################################### [ 62%]
47:opensm-libs ########################################### [ 64%]
48:opensm-libs ########################################### [ 65%]
49:opensm ########################################### [ 66%]
50:opensm-devel ########################################### [ 68%]
51:opensm-devel ########################################### [ 69%]
52:opensm-static ########################################### [ 70%]
53:opensm-static ########################################### [ 72%]
54:perftest ########################################### [ 73%]
55:mstflint ########################################### [ 74%]
56:sdpnetstat ########################################### [ 76%]
57:srptools ########################################### [ 77%]
58:rds-tools ########################################### [ 78%]
59: ibutils ############################################ [80%]
60: infiniband-diags ##############################################[81 %]
61: qperf ############################################ [82%]
62:mlnxofed-docs ########################################### [ 84%]
63:mvapich_gcc ########################################### [ 85%]
64:mvapich_pgi ########################################### [ 86%]
65:mvapich_intel ########################################### [ 88%]
66:openmpi_gcc ########################################### [ 89%]
67:openmpi_pgi ########################################### [ 91%]
68:openmpi_intel ########################################### [ 92%]
69:mpitests_mvapich_gcc ########################################### [ 93%]
70: mpitests_mvapich_pgi ########################################### [95%]
71:mpitests_mvapich_intel ########################################### [ 96%]
72:mpitests_openmpi_gcc ########################################### [ 97%]
73:mpitests_openmpi_pgi ########################################### [ 99%]
74:mpitests_openmpi_intel ########################################### [100%]
Device (15b3:634A):
08:00.0 InfiniBand: Mellanox Technologies MT25408 ConnectX VPI PCIe 2.0
2.5GT/s - IB DDR/10GigE
Link Width: 8x
Link Speed: 5Gb/s
Installation finished successfully.
Programming HCA firmware...
Device: /dev/mst/mt25418_pci_cr0
Running: mlxburn -d /dev/mst/mt25418_pci_cr0 -fw ./firmware/fw-25408/fw-25408-rel.mlx -no-I- Image burn completed successfully.
warning: /etc/infiniband/openib.conf saved as /etc/infiniband/openib.conf.rpmsave
Please reboot your system for the changes to take effect.
STEP4. If the installation script upgrades the firmware of the network adapter card, it will ask you to reboot the device.
STEP5.hca_self_test.ofed utility can be used to check the link status, firmware, driver version information, etc.
host1# /usr/bin/hca_self_test.ofed
---- Performing InfiniBand HCA Self Test ----
Number of HCAs Detected ................ 1
PCI Device Check ................. PASS
Kernel Arch ................................ x86_64
Host Driver Version ................... MLNX_OFED_LINUX-1.4 (OFED-1.4-mlnx8) 1.4-
2.6.9_78.0.1.ELlargesmp
Host Driver RPM Check .................. PASS
HCA Firmware on HCA #0 ................ 2.6.000
HCA Firmware Check on HCA #0 ...........PASS
Host Driver Initialization ...........PASS
Number of HCA Ports Active ............. 0
Port State of Port #0 on HCA #0 ........ INIT
Port State of Port #0 on HCA #0 ........ DOWN
Error Counter Check on HCA #0 ..........PASS
Kernel Syslog Check ................... PASS
Node GUID on HCA #0 ................... 00:02:c9:03:00:00:10:e0
------------------ DONE ---------------------
5. Uninstalling Mellanox OFED
You can uninstall using the /usr/sbin/ofed_uninstall.sh script.