取り込みデータの圧縮について

Splunkは取り込み対象のデータを、約50%程度に圧縮してファイルシステム上に保存します。この50%の圧縮率は目安であり、実際の圧縮率はデータによって異なります。

そのため、ハードウェアの選定などを行う際には事前に取り込み対象のデータがどの程度に圧縮されてSplunkに取り込まれるかを確認する必要があります。

※1. Splunkはデータを保存する際に、インデックスファイルとrawデータファイルを作成します。rawデータは取り込み対象ファイルの10％程度、インデックスファイルは取り込み対象ファイルの10～110％程度の大きさで作成されるため、50％程度の圧縮率にならない場合があります。

※2. 日本語(ダブルバイト文字)が含まれるデータや、取り込み時にフィールドを抽出している場合インデックスファイルが大きくなる場合があります。

詳細は下記のドキュメントをご覧ください。

※1.の圧縮率について
https://docs.splunk.com/Documentation/Splunk/6.5.0/Capacity/Estimateyourstoragerequirements

※2.のフィールド抽出について
http://docs.splunk.com/Documentation/Splunk/6.5.0/Data/Aboutindexedfieldextraction

取り込みデータの圧縮率の調べ方について

管理コンソールを使用することにより、インデックスごとの圧縮率を調査することが出来ます。

以下に手順を記載します。

データ圧縮率調査手順

• SplunkWebにアクセスし、設定 > インデックス > 新規インデックスより新規のインデックスを作成します。
• 圧縮率の確認をするデータを1)で作成したインデックスに保存します。
  ※圧縮率を確認されたいデータが、既に特定インデックスに保存されている場合には、1)及び2)の手順を飛ばしてください。
• 設定 > モニターコンソールを選択します。
• ナビゲーションメニューより インデックス化 > インデックス詳細：インスタンスを選択します。
• 入力フォームのインデックスより、1)で作成したインデックスを指定します。
• 概要のダッシュボードの以下の項目を確認します。

• Index Size
• 1. Splunkに保存されている圧縮後のデータサイズ
• Uncompressed Raw Data Size
• 1. 実データサイズ
• Raw to Index Size Ratio
• 1. 圧縮後のデータサイズと実データサイズの比率
     ※例えば2:1の場合、圧縮率は50%であることが分かる