VAST InsightEngine kafka機能について

kafkaとはストリーミングデータを処理するための分散メッセージングキューです。kafkaではリアルタイムで生成されたストリーミングデータやそのメタデータなどを一時的に保持して管理を行います。kafkaに保存されたデータはデータ分析プラットフォーム、webサービスなどの外部システムに使われています。
イメージとしては工場の中にあるベルトコンベアに近く、次々と流れてくるデータを管理し外部システムへと連携をおこないます。
リアルタイムで処理を行う必要があるデータのパイプラインにはkafkaが必須の機能となりつつあります。
kafkaには、イベントが発生したことを通知するProducer、通知されたメッセージを保存するBroker、メッセージを受け取ったことを確認するConsumerの3つの要素が存在します。Broker内では、Producerから送信されたメッセージをトピックと呼ばれる箱の中に保存して、管理をおこないます。

通常、kafkaを使用するためには専用のサーバーを用意して使用を行いますが、ストリームデータの量や必要スループットに応じてサーバー構成を変える必要がありました。
それに対して、VAST InsightEngineではkafkaが基本機能として搭載されており、VAST Dataを使ってRAGパイプラインを組む場合は、専用サーバーを用意せずにパイプラインを構築できます。

VAST InsightEngine ベクトルDB機能について

ベクトルDBはその名の通り、ベクトルを保存するデータベースです。ベクトルDBについて紹介する前に、まずはベクトルについて解説します。
私たちが普段目にする文章や画像は人間が理解できる形になっていますが、大規模言語モデル（以下 LLM）には直接理解できません。そのため、人間がわかるデータをLLMに理解できる形に変換する必要があります。それらを変換した後の形式のことをベクトルと呼びます。ベクトルの中身は浮動小数の集まりとなっていて、ベクトル間同士で距離の計算ができます。ベクトルの距離は距離が近いほど似ている性質をもつことを意味しています。
ベクトルDBはベクトルを内部に保存しており、あるベクトルに対して最も距離が近いベクトルを自身のベクトルデータから検索します。すなわち、ベクトルDBを使うことで似ている性質をもつベクトルを取出すことが可能になります。このように、RAGで質問と最も近い回答（ベクトル）を検索する上ではこのベクトルDBの機能が使用されており、現代のAIアプリケーションでは必須の技術となりつつあります。
従来、ベクトルDBはkafkaと同様に専用のサーバーを用意し、MilvusなどのOSSを用いて構築されます。
それに対して、VAST InsightEngineではベクトルDBが基本機能として搭載されており、専用サーバーを用意せずにベクトルDBを構築することが可能です。