「これは便利!Splunk Ver6.3の新機能!」 | Splunker's ブログ

2015年9月24日Splunkユーザが世界各国から集まる、恒例の.conf(ドットコンフ)2015が今年もラスベガスで開催されました。今回は機械学習機能の発表、新しいappなど新製品発表もいろいろと行われましたが、同じようにVer.6.3がイベント開催と同時に発表になりました。今日はその新バージョンの中で特にうれしかった機能、「フィールドの抽出」についてご紹介します。

「Splunkはスキーマレス」

膨大なビッグデータを活用するのに便利なSplunkですが、データ取り込み時にはその中身の文字列を項目として認識させる機能があります。それが項目、つまり「フィールドの抽出」になります。いままでのフィールドの定義は設定ファイルに項目ごとの定義を記述するか、個別に定義していました。

今回のVer.6.3からその定義について設定画面が使いやすくなりました!では、そのフィールドの抽出機能を見ていきましょう。

まずマシンデータをindexを指定して取り込みます。取り込んだら、サーチ画面でindex名を指定して検索してみます。

>index=”demo”

いつものSplunk画面です。表示されたイベントの左側の>を押すとフィールドメニューが出てきます。

Splunkはスキーマレス

タイプの上に出ている「>イベントアクション▽」のボタンをクリックします。メニューから「フィールドの抽出」を選択します。

フィールドの抽出

左側にフィールドの一覧が出ていますがその中から「フィールドの定義」を選びます。

フィールドの定義画面が別ウィンドウで開きます。まず、定義したい文字列のある行を選択します。対話式なのが嬉しいですね。

  • 定義画面

Ver.6.3になって、画面下に2つの丸いアイコンが出てきました!!正規表現かデリミタ(指定区切り)のどちらかの方法を選びます。正規表現を選んでみます。

・・・・
・・・・
・・・・
・・・・・・ 何もおきませんね。

ここでご注意です。2つアイコンをクリックした後、選択したアイコンに色がついて、上のウィザード進捗の「次へ」を押さないと進みません。

  • 2つアイコンをクリック

次へ押しますと、下にログが表示されますので、抽出したい文字列をマウスでなぞって反転してみましょう。選択後認識されてその文字列が反転します。さらにその下を見るとサンプルとして認識された部分が反転して確認できます。

そうしますとその指定した文字列に対して、フィールド名の入力画面が出てきます。フィールド名は検索や式につかうので、英文字にしておきましょう。

フィールド名の入力画面

これでマシンデータの文字列をSplunkが項目、つまりフィールド名として認識しました。

次へを押すと確認画面に移ります。ここでエラーがでた場合はその反転した部分を再度クリックしますと取消ができます。正規表現は細かい文字列操作ができる反面、1つ1つのフィールド名登録のため複数登録しようとするとエラーとなります。

確認画面

ウィザードでオンデマンドで内容を確認しながらデータの抽出ができるのは都度confファイルを記述していた時に比べて本当にウィザード(魔法使い)のようです!

次へをおしますと、確認のための画面に移り、抽出結果を事前に確認することができます。

抽出結果を事前に確認

もしこの時点で誤認識して抽出していた場合は反転した文字の右上のバツ印を押して外すことができます。これでサンプル画面が更新されてさらに抽出の精度を高められます。

Splunkはメジャーなフォーマットについては自動認識してくれます。しかしカスタムログ、フォーマットが一般的でないものなどは文字列操作によって認識をさせなければなりません。

Splunkの正規表現やコマンドについて弊社にてコマンドリファレンスをご用意しておりますので、資料請求をご利用ください

デリミタ―機能

もう一つ感動するのがデリミター、文字区切り自動認識機能です。こんどは右側のデリミター画面を選択してみましょう。

まず認識させたい行を選択します。デリミター設定画面に切り替わります。画面中央部にスペース、タブ、カンマなどの選択ボタンがありますので、ここではSpaceを選択してみましょう。

デリミタ―機能

少しししますと、すべての文字列が区切られ、一覧となって出てきます。素晴らしいです!!

  • すべての文字列が区切られ、一覧となって出てきます

さらにそこにはフィールド名に数字がついた文字が出てきます。ここで鉛筆マークを押すと任意のフィールド名をつけることができます。デリミターモードで認識させると一括で設定できるので楽ですが、ちょっとシステムが重たくなる場合があります。

任意のフィールド名をつけることができます

フィールドの抽出が終わると、サーチ画面へのリンクが出ますので、ワクワクしながらサーチ画面に移りましょう!!

SIEMのルール設定、ログ管理ツールの面倒なスキーマ設定、各機種にインストールするコネクタのインストールなどの設定作業から解放され、システム構築、運用管理の時間を大幅に短縮することができるでしょう!

ではまた次回も6.3で気になった事を紹介しましょう!

Splunk> Ninjas are too busy!