「Splunkはスキーマレス」

膨大なビッグデータを活用するのに便利なSplunkですが、データ取り込み時にはその中身の文字列を項目として認識させる機能があります。それが項目、つまり「フィールドの抽出」になります。いままでのフィールドの定義は設定ファイルに項目ごとの定義を記述するか、個別に定義していました。

今回のVer.6.3からその定義について設定画面が使いやすくなりました！では、そのフィールドの抽出機能を見ていきましょう。

まずマシンデータをindexを指定して取り込みます。取り込んだら、サーチ画面でindex名を指定して検索してみます。

>index=”demo”

いつものSplunk画面です。表示されたイベントの左側の＞を押すとフィールドメニューが出てきます。

タイプの上に出ている「＞イベントアクション▽」のボタンをクリックします。メニューから「フィールドの抽出」を選択します。

左側にフィールドの一覧が出ていますがその中から「フィールドの定義」を選びます。

フィールドの定義画面が別ウィンドウで開きます。まず、定義したい文字列のある行を選択します。対話式なのが嬉しいですね。

Ver.6.3になって、画面下に２つの丸いアイコンが出てきました！！正規表現かデリミタ（指定区切り）のどちらかの方法を選びます。正規表現を選んでみます。

・・・・
・・・・
・・・・
・・・・・・　何もおきませんね。

ここでご注意です。２つアイコンをクリックした後、選択したアイコンに色がついて、上のウィザード進捗の「次へ」を押さないと進みません。

次へ押しますと、下にログが表示されますので、抽出したい文字列をマウスでなぞって反転してみましょう。選択後認識されてその文字列が反転します。さらにその下を見るとサンプルとして認識された部分が反転して確認できます。

そうしますとその指定した文字列に対して、フィールド名の入力画面が出てきます。フィールド名は検索や式につかうので、英文字にしておきましょう。

これでマシンデータの文字列をSplunkが項目、つまりフィールド名として認識しました。

次へを押すと確認画面に移ります。ここでエラーがでた場合はその反転した部分を再度クリックしますと取消ができます。正規表現は細かい文字列操作ができる反面、１つ１つのフィールド名登録のため複数登録しようとするとエラーとなります。

ウィザードでオンデマンドで内容を確認しながらデータの抽出ができるのは都度confファイルを記述していた時に比べて本当にウィザード（魔法使い）のようです！

次へをおしますと、確認のための画面に移り、抽出結果を事前に確認することができます。

もしこの時点で誤認識して抽出していた場合は反転した文字の右上のバツ印を押して外すことができます。これでサンプル画面が更新されてさらに抽出の精度を高められます。

Splunkはメジャーなフォーマットについては自動認識してくれます。しかしカスタムログ、フォーマットが一般的でないものなどは文字列操作によって認識をさせなければなりません。

Splunkの正規表現やコマンドについて弊社にてコマンドリファレンスをご用意しておりますので、資料請求をご利用ください

デリミタ―機能

もう一つ感動するのがデリミター、文字区切り自動認識機能です。こんどは右側のデリミター画面を選択してみましょう。

まず認識させたい行を選択します。デリミター設定画面に切り替わります。画面中央部にスペース、タブ、カンマなどの選択ボタンがありますので、ここではSpaceを選択してみましょう。

少しししますと、すべての文字列が区切られ、一覧となって出てきます。素晴らしいです！！

さらにそこにはフィールド名に数字がついた文字が出てきます。ここで鉛筆マークを押すと任意のフィールド名をつけることができます。デリミターモードで認識させると一括で設定できるので楽ですが、ちょっとシステムが重たくなる場合があります。

フィールドの抽出が終わると、サーチ画面へのリンクが出ますので、ワクワクしながらサーチ画面に移りましょう！！

SIEMのルール設定、ログ管理ツールの面倒なスキーマ設定、各機種にインストールするコネクタのインストールなどの設定作業から解放され、システム構築、運用管理の時間を大幅に短縮することができるでしょう！

ではまた次回も6.3で気になった事を紹介しましょう！

Splunk> Ninjas are too busy!

045-476-2010
月～金 8：45～17：30

お問い合わせ
お気軽にご相談ください

無償セミナー
各種セミナーはこちら

資料ダウンロード
各種資料はこちら