3分で読める? FPGA の MIPI インターフェース事例 大辞典

本記事ではMIPIインターフェース実現におけるFPGA/ASSPの使い分けと具体的な実例についてご紹介します。

カメラ製品を中心に、民生/産機、最近では車載市場でも需要が増えてきているMIPIインターフェースですが、

検討にあたって特にICの選定で迷われる方も多いかと思います。

 

MIPIインターフェースを実現するICとしてFPGAとASSPがあります。

最適なICの選定をするためには、それぞれのメリット/デメリットを考慮し状況に応じて使い分けることが必要です。

こちらについては前回記事にて紹介したのでまだの方はぜひこちらもご覧ください。

 

本記事では非常に多岐にわたるFPGAのMIPIインターフェース実用例を紹介していきますが、

まずはその前にFPGAとASSPの使い分けについて触れたいと思います。

例えば下図のように"変更予定のない単機能の仕様を安価に実現"したい場合はASSPがお勧めです。

ASSPが検討される場合

ポイント

・SoC と CMOSセンサー間の I/F Bridge

・SoC で MIPI I/Fを受けられない

・単純な I/F のみの変換でSoC前段で特別な処理を必要としない

・センサーや SoC を今後も使用し続けるため、I/F 仕様が変わらない

・基板面積や消費電流に制限がなく、ASSP を新たに追加しても問題ない

・安価に機能を実現させたい

→長らく変わることのない単機能を安価に実現したい場合は ASSP

このように"変更予定のない単機能の仕様を安価に実現"する場合はASSPのメリットを活かすことができます。

 

しかし実設計においては、

数種類のセンサやディスプレイへの対応や複数のI/F変換、前段処理が必要な場合など、

ASSPでは実現ができない場合やFPGAの方がメリットの出る場合もあります。

具体的には以下のようなケースです。

 

〇FPGAでのみ実現可能/ASSPよりメリットの出る場合

・センサやディスプレイごとに基板構成や部品を変えたくない(プラットフォーム化)

・複数のI/Fかつデータの前段処理を行いたい

・ディスプレイ側のI/Fが特殊なためASSPでは実現ができない 等々。。。

 

このような場合は、FPGAの柔軟性や高速処理を活かした仕様検討が必要になるでしょう。

 

これ以外にもFPGAでしか実現ができないケースや

ASSPに対してFPGAの方がメリットのでるケースは多岐にわたります。

従って最適なMIPIインターフェースの実現のためには、ASSPだけでなくFPGAも視野に入れ仕様検討をしていく必要があります。

 

ここからはFPGAのMIPIインターフェース事例を紹介します。

 

紹介する数が非常に多いため、下記に一覧表を用意しました。興味のあるケースからチェックしてみてください。

やや情報量が多いですが、有意義な情報のみ掲載しております。

※詳細については弊社FAEまでご相談ください。

FPGA MIPIインターフェース実例(ケース)一覧

ケース

詳細

キーワード

FPGA

よくある事例度

 Display系
DSIのmode変換 MIPI DSI to MIPI DSI DSI Videp Mode変更, 4K Display, 2.5Gbps D-PHY CrossLink-NX ★★☆☆☆ (2.0)
特殊 LVDS I/Fへの対応 MIPI DSI to LVDS DSI, LVDS, DSP, Color Space Convertor CrossLink/CrossLink-NX ★★☆☆☆ (2.0)
複数の I/F の使用 LVDS to DP, MIPI CSI-2 CSI-2, 低消費電力, Display Port Certus-NX/CertusPro-NX ★★★☆☆ (3.0)
画像信号の処理/分割 MIPI DSI to LVDS DSI, LVDS, 100K LUT, Scaling, Splitting Certus-NX/CertusPro-NX ★★★★☆ (4.0)
 CMOS センサー系
多数I/F&データ前段処理 MIPI CSI-2 to MIPI CSI-2 CSI-2, データ圧縮, 1.5Gbps D-PHY CrossLink-NX ★★☆☆☆ (2.0)
SLVS-ECをメインICへ SLVS-EC to MIPI CSI-2 CSI-2, SLVS-EC, MAX10Gbps SERDES, 100K LUT CertusPro-NX ★★★☆☆ (3.0)

部品/構成のPlatform化

LVDS to MIPI CSI-2 CSI-2, LVDS, 小型Package 2.5mm角 CrossLink ★★★★☆ (4.0)

対応可能なASSP がない

MIPI CSI-2 to LVDS CSI-2, LVDS, 1.5Gbps D-PHY, 6K LUT CrossLink ★★★★★ (5.0)
 その他
独自の I/Fの使用 DDR LVDS to MIPI DSI DSI, Original LVDS, 1.5 Gbps D-PHY CrossLink/CrossLink-NX ★★☆☆☆ (2.0)

・複数センサの取りまとめ

・後段へ高速通信

MIPI CSI-2 to MIPI DSI CSI-2, DSI, MAX 10Gbps Serdes, 低消費電力 CertusPro-NX ★★☆☆☆ (2.0)
SoC 前段にエッジ AI処理 MIPI CSI to Bus/I2C/SPI CSI-2, AI CrossLink-NX ★★★☆☆ (3.0)

 Display系

Case:特定の DSI Video Mode のみ対応している SoC/Display を検討したい

ポイント

・SoC と Display 間の I/F Bridge

・4Kクラスの高帯域でのMIPI I/Fが必要となるケース

・Burst mode  から Non burst sync pulse へ mode 変換

 CrossLink-NX MIPI MAX 2.5 Gbps/lane まで 対応可能◎

Case:ディスプレイ側の LVDS I/F が特殊なため、ASSP で対応できない

ポイント

・SoC と Display の I/F Bridge

・SoC 側がRGB888 、Display 側が YCbCr422 とフォーマットが異なる

 →CrossLink-NX DSP Block内蔵のためカラースペース変換可能◎

Case:複数の I/F を使用するため、ASSP で対応できない

ポイント

・ ASSP では Display Port と MIPI I/Fを同時に扱えるものがない

・低消費電力のニーズがあり、他社と比べてより低消費電力で実現可能

CertusPro-NX 100LUT の中規模ロジック、低消費電力を実現◎
  (他社比較1/4倍の低消費電力)

Case:入力した信号を処理、分割してそれぞれのディスプレイに表示させたい

ポイント

・USB Type-C から LVDS への I/F Bridge

・ディスプレイへ入力する前に、様々な信号処理が必要

 → ユーザーが自由に設計できる FPGA ならではのメリット

    100K LUT CertusPro-NX にて I/F 変換に加えて機能追加可能◎

 CMOSセンサー系

Case:多数の I/F かつデータの前段処理を行いたい

ポイント

 高データレートの MIPI  I/Fを受け、データのマージを行う処理を低消費で行いたい

 ASSP で上記処理が行えず、FPGA にて検討

2.5mm, 6K LUT, MAX 1.5 Gbps 対応 MIPI D-PHY 搭載 CrossLink

Case:SLVS-EC 出力のセンサーをSoCなどのメインICで受けたい

ポイント

・Image SensorとMain IC間のI/F変換

・SLVS-ECとMIPI I/Fを同時に扱う必要があり、ASSP がない

・バッテリー駆動の製品のため、低消費電力が求められる

MAX 10Gbps SERDES, 1.5/1.25 Gbps 対応のCertusPro-NX

Case:センサーごとに基板構成や部品を変えたくない

ポイント

・Image SensorとMain IC間のI/F変換

・1つの基板で複数のImage Sensorの付け替えを行うため、ASSP だとセンサーごとに基板構成や部品が変わってしまう(変えたくない)

・筐体のサイズに合わせた、小型パッケージのニーズ

→ センサーの仕様に合わせて電子制御回路を変更できる
  FPGA 特有のメリットと最小2.5mm角の Packageが◎

Case:SoC の I/F が MIPI 非対応かつフォーマットに対応した ASSP がない

ポイント

・SoC と CMOSセンサー間の I/F Bridge

・SoC が MIPI で受けられない

・フルHD・60fps だと RAW10 対応可能なASSPがない

I/F 変換ニーズには、CrossLink シリーズが◎

 その他ケース

Case:独自の I/F を使用するため、ASSPでは対応できない

インスタントオン

・SoC 間の I/F Bridge

・Full-HDでカラー深度が10bit RGB444、フレームレートが120fpsのため通常の7:1LVDSでは帯域オーバーとなり、独自のLVDS I/Fを構築し、そこからMIPIへのブリッジが必要に

→ オリジナル I/F 自作可能かつ、I/F 変換用途に特化した CrossLink

Case:複数のイメージセンサーを取りまとめて、高速通信で後段へ転送したい

ポイント

・メインIC と センサー/ディスプレイ間の I/F Bridge

・基板面積を小さくするニーズがあり、ASSP だと複数構成になり
 基板面積を圧迫してしまう

・人体に接触するような製品の場合、低発熱(低消費)が求められる

 →最小9mm x 9mm Package 10G SerDes を低消費電力で実現◎

Case:SoC 前段にエッジ AI を使用した処理を追加したい

ポイント

・単なる AI アクセラレータとして使うだけではなく、
    MIPI CSI2 I/FとAIエンジンを1つのFPGAに実装することができ、また、 

 低消費電力で小型であること。

・上のケースの場合、FPGAがAIを利用したセンサとして機能しており、推論結果によってMain SoCを起動することでシステム全体の低商品電力化が図れる。

・下のケースの場合、HostとのI/Fが組込みで良く利用されるシリアルI/Fを利用することもできるため、安価な汎用マイコンと組み合わせたシステム構成も可能である。

MIPI + エッジ AI のソリューションで後段のメインIC の前段処理◎

まとめ

今回の記事では、

MIPIインターフェースにおけるFPGA/ASSPの使い分け

FPGAの柔軟性や高速処理を活かした事例

について紹介しました。

 

改めてFPGAのメリットが出るのは以下のような場合でした。

2.5Gbps/laneのMIPI DSI/CSI-2に対応する必要がある

10Gbps のSERDESに対応する必要がある

・特殊な変換や信号処理に対応する必要がある

低消費電力や低発熱の需要がある

省スペース化の必要がある

・回路変更のニーズが発生する可能性がある  等々...

 

最適なMIPIインターフェースの実現のためには、ASSPだけでなくFPGAも視野に入れ仕様検討をしていく必要があります。

ご不明点があればお気軽に弊社FAEにお問い合わせください。 

新人エンジニアの奮闘記〜MIPI規格編〜

MIPI規格は、近年ディスプレイのインターフェースやイメージセンサーの出力インターフェースなどに多く用いられる通信規格です。

規格の名前は知っているけど、通信帯域は?どんなプロトコルで伝送するの?など

MIPIの中でも、DSI/CSI に焦点を当てて、新人がゼロから勉強していく記事です。



他の記事よりも、わかりやすく、楽しくをモットーにMIPI規格について記事を作成しています。

新人と一緒に、勉強してみませんか?