なぜMIPIのインターフェース変換が必要なのか？

今回事例として紹介するのはLattice社のHoloscan Sensor Bridge Boardです

この基板は、さまざまなセンサーデータを利用したエッジコンピューティング処理を行う際に、センサーからGPUへのスムーズなデータ伝送の実装を検討している方にご参照いただきたい評価ボードになります。

特にイメージセンサーのデータをGPUに取り込んでエッジAIによる画像認識を行う必要がある際に有用です。

MIPI I/Fを持ったイメージセンサーと、NVIDIAのGPU（IGX Orin, AGX OrinGPU）との間に入ってブリッジ接続することを想定しています。

エッジ環境においてGPUを使った何らかの処理を行う必要がある場合、下記のような課題が発生することがあります。

　・物理的なスペースが小さく、イメージセンサー近傍にGPUを配置できない

　・充分な電力供給ができないため、イメージセンサー近傍にGPUが配置できない

　・センサごとにGPUを配置していてはコストがかかりすぎるため、ある程度センサーデータを集約してGPUに送りたい

　・センサーとGPU間を数10m以上離して配置する必要がある

MIPI D-PHY I/Fは、もともとモバイル製品の内部インターフェースの標準化を目的に策定されているI/F規格であるため、通常は長くても数10cm程度の伝送で使用することが想定されており、長距離伝送には不向きな通信手段です。

そのため、このリファレンスボードでは、センサーのMIPI CSI-2をFPGAにて10Gbps Ethernetにインターフェース変換し、センサーとGPU間の長距離通信が可能な環境を提供しています

インターフェースブリッジによる長距離伝送

評価ボードには以下のコネクタが搭載されています。

　・Camera Connector

　・10Gb Ethernet SFP+ Port

　・FMC Connector

Camera ConnectorにはLeopard Imaging製のLI-JETSON-IMX274 Dual Camera Module が接続可能です。

本Camera Module にはMIPI CSI-2で画像出力するSony製イメージセンサー IMX274が搭載されています。

また、SFP+ Portが2個設けられており、本PortにSFP+ adapterを接続することで、Cat6 Ethernetケーブルや光ファイバーケーブルを用いてNVIDIA AGX OrinやIGX Orinとの間を長距離で接続できます。

使用しているFPGA：Lattice Nexusシリーズ

評価ボードには2つのFPGAが搭載されており、それぞれの以下の役割を担っています。

　CrossLink-NX：イメージセンサからのMIPI CSI-2受信および後段FPGAへのデータ送信

　CertusPro-NX：前段FPGA(CrossLink-NX)からデータ受信、Hololink FPGA IPでのEthernet UDPへのパケット化、SerDesブロックを用いたEthernetデータ伝送

CrossLink-NXにはMIPI D-PHYのHardマクロが内蔵されており、最大2.5Gbps/LaneでのMIPIデータ伝送が可能なI/Oを8Lane(= 4Lane x 2ch)搭載しています。またLVDSやSLVSなどの高速差動I/Fにも対応しており、高速なMIPI出力センサから映像を受信して異なるI/Fに変換することが可能なFPGAです。

 
一方、CertusPro-NXは高速差動I/Fへの対応だけではなく、さらに高速なクロック埋め込み型のデータ伝送ブロック(SerDes)を搭載しており、最大で10Gbps/Laneでの伝送が可能なため、CrossLink-NXから転送されたセンサーデータを受信し、これを10Gbps Ethernetに変換して送信する役割を担っています。またCertusPro-NXにはHololink FPGA IPが実装されますが、Hololink IPは、NVIDIA GPUとの高速かつ低レイテンシなデータ通信を実現するもので、GPUとFPGA間のプロトコル変換やデータパスの最適化を行います。画像処理や機械学習などの用途で使用されます。

Lattice NexusシリーズのFPGAは以下の特徴があり、様々なエッジアプリケーションに最適なデバイスになっています。

　・FD-SOIプロセスを採用しており、同規模帯の他社FPGAと比較して約1/4の消費電力で動作します。

　　またこれに伴いデバイスの発熱が非常に低く、基板全体の熱対策へのコストを低減できます。

　・非常に小型のパッケージラインナップを用意しており、同規模帯の他社FPGAと比較して、約1/6程度のサイズのデバイスを使用できる場合があります。