NVIDIA NIM™ - NVIDIA - マクニカ

NVIDIA NIM™とは

NVIDIA NIM™はNVIDIA AI Enterpriseに含まれる、企業における生成AIの展開を加速するために設計された推論用のマイクロサービスです。

オープンソースのモデルやNVIDIA AI FoundationモデルなどをサポートするNIMは業界標準のAPIにより、オンプレミスでもクラウドでもシームレスでスケーラブルなAI推論を実現します。

お客様のユースケースに合わせてローカルのワークステーションからクラウド、データセンターまで様々なインフラモデルにデプロイすることが可能です。

業界標準に準拠したAPIを使用してAIモデルにアクセスできるため、シンプルにAIアプリケーション開発することが可能になります。また、LangChainやLlamaIndexといった有名なLLMのフレームワークを使用していただくことが可能です。

最先端のモデルや音声、動画処理、ヘルスケアなどの様々なドメインに合わせたモデルが利用可能です。

NVIDIA社のTriton Inference Server™やTensorRT™-LLMなどの推論ソフトウェアを活用した事前構築済みのコンテナが提供されているため、開発期間の大幅短縮が可能です。

NVIDIA AI Enterprise に含まれている為、エンタープライズグレードのベースコンテナで構築されており、定期的なセキュリティアップグレードやエンタープライズサポートを受けることが可能です。

NIMに関しての詳細は下記URLをご確認ください。(2024/10/01 時点)

ＨＷが無い場合には、NVIDIAが管理するAPIを使用し無料で最新の生成AIモデルを使用しプロトタイピングをおこなうことが可能です。※無料クレジットは1000クレジットとなります

A100やH100といったNIM対象のHWを既に持っている場合には、Developper Programに参加していただくことで、一部制限はございますがNIMの評価をおこなっていただくことが可能です。(研究開発用途に限定される、16GPUまでといった制限がございます)

無料のAPIで評価・検討していただいた後に、NIMをデータセンターGPＵにセルフホストしていただくことで、実際の運用環境へ展開することが可能です。

また、その際にコードを変更することなく、クラウドエンドポイントからセルフホストへシームレスに移行することが可能です。

※運用環境への展開にはNVIDIA AI Enterpriseのライセンスが必要となります。

※本記事は2024/10/01 時点の情報に基づいて作成されております。

マクニカではNVIDIA製品を中心としたMLOpsソリューションを提供し、企業のAI基盤構築にて多くの実績がございます。

LLM の開発から展開のための包括的なプラットフォームNVIDIA NIMについてご興味があれば、ぜひお気軽にお問合せください。

NVIDIA開発環境上で最新のAIソリューションを自社への導入前に検証できるサポートプログラムです。
NVIDIA AI Enterprise、NVIDIA Omniverseをはじめとするソフトウェア製品の理解を深めて、導入目的の実現性を事前に調査可能です。