VAST InsightEngine

VAST InsightEngine は、複雑化しがちなAI活用基盤の構築を大幅にシンプルにするために開発された、VAST Data社の最新機能です。従来、RAGなどのデータパイプライン構築は複数のサーバーにまたがり複雑な実装となっていました。InsightEngineを用いることでVAST Data上へシンプルに実装でき、社内データのAI利用をよりスピーディにします。

社内データのAI利用における課題

AI技術が急速に進化する中、社内に蓄積された膨大なデータを再利用し、そこからAIを用いて知見を引き出す流れが広がっています。AI技術が急速に進化する中、社内に蓄積された膨大なデータを再利用し、そこからAIを用いて知見を引き出す流れが広がっています。しかし実際には、RAGをはじめとした仕組みの構築には以下のような課題があります。

• 技術的な複雑さ

　データの準備、ベクトル化、メッセンジャーの構築など、要素技術が多岐にわたり、立ち上げに時間がかかる。

• クラウドコストの増大

　例えば、クラウドでデータをベクトル化すると、費用が急速に膨らむ。

• ドキュメントのアクセス範囲の制限

　社内での役職や権限ごとに参照できるドキュメントが異なるため、個人ごとに専用チャットボットを用意するなど、現実的ではない対応が必要になる。

特にRAGシステムの構築では、

①データパイプラインの構築（データ種別ごとに異なる処理系が必要）

②RAG精度の向上（Embeddingモデル選定、chunk設計など）

の2ステップが必要ですが、①にかなりの時間とコストが発生するため、②への注力が難しいのが実情です。

VAST Data InsightEngineで解決

VAST Data InsightEngineはVAST Data内部でベクトルDB、メッセンジャー機能をサポートしております。そのため、VAST Dataの単一プラットフォーム上にてシンプルにRAGシステムを構築することが可能です。

RAGシステムをオンプレミスで構築する場合、MilvusやFaissといったベクトルDBや、Apache KafkaなどのメッセージングシステムをOSSで構築・管理・連携させる必要がありますが、この実装には大きなコストと時間がかかります。（下図）

ユーザーがデータをVAST Dataプラットフォームに移動すると、自動的にかつ即座にVAST Dataが外部のエンベディングモデルと通信を行い、データをベクトル化し、VAST Data内のベクトルDBに保存します。結果として、RAGシステムを構築する際に必要なのは、

・VAST Dataプラットフォーム

・LLMを動かすためのGPU

のみとなり、よりシンプルにシステムを構築出来ます。

採用事例

VAST Data InsightEngineはNHL(National Hockey League)にて採用されており、過去50万時間のアーカイブデータを全てVAST Dataに保存し、全てのデータをNVIDIA AI BlueprintであるVideo Search andSummarization(VSS)に渡し、解析を行っております。

これにより、膨大なアーカイブデータから見たいシーンを瞬時に検索・抽出できるようになり、ファン体験やコーチングの質を大きく向上させています。

https://www.vastdata.com/customers/nhl

サイト内検索