Splunkを使ったデータ分析１：Machine Learning Toolkit(MLTK)の概要

セキュリティ事業メニュー

セキュリティ事業
HOME

選ばれる
理由

サービス

取扱メーカー

事例・レポート・
ブログ・用語集

セミナー・
オンデマンド動画

TOP

製品・サービス

仕様・技術情報

仕様・技術情報

ソリューション

ソリューション

ユーザー事例

サポート

セミナー・コンテンツ

評価機申込・FAQ

評価機申込
- Splunk （スプランク）評価版ダウンロード
FAQ

資料請求

お問い合わせ

イベント・セミナー

オンデマンド動画

Splunk

スプランク

はじめに

近年、機械学習を使ったデータ分析が注目されています。機械学習は、収集したデータから一般化されたルールやパターンといったモデルを導き出し、そのモデルを使って現実のデータに対して予測・分類を可能にします。
本記事ではSplunkで収集したデータに対して機械学習を実施するのに必要な無償App、Splunk Machine Learning Toolkit(MLTK)の概要と実際のUIがどのようになっているのか、を説明します。

MLTKの概要

Splunk Machine Learning Toolkit(MLTK)は、Splunkのプラットフォーム上で収集したデータを用いて、機械学習モデルの作成、実行をサポートするAppです。Splunkbase(https://splunkbase.splunk.com/app/2890)からSplunkへインストールすることで使えるようになります。 MLTKに用意されたアルゴリズムによって機械学習モデルの作成を容易にし、IT、セキュリティ、ビジネス、IoT といった領域において将来予測・異常検知の実装やカスタマイズされた可視化方法を提供します。

MLTKで実現できること

MLTKを活用して以下を実現します。

セキュリティ向上
データセット：FWトラフィック
特定のトラフィックがマルウェアによるものか判別させる。
購買数の予測
データセット：販売実績
あるショップの月ごとの商品販売数を予測する。
機器の劣化予測
データセット：センサーデータ
センサー波形データから正常範囲を逸脱する劣化までの時間を予測する。

また、上記のようなデータ分析を達成するためにMLTKで利用できる機械学習の手法は大まかに分けて下記の5つです。

回帰：複数の要因を用いて数値を予測する分析
分類：複数の要因を用いてあるデータのカテゴリを予測する分析
時系列予測：時系列データに対し数値を予測する分析
クラスタリング：複数の要因を用いてデータをグループ化する分析
異常検知：データから期待値を算出し、現実データ内の外れ値を検出する分析

加えて、MLTKをインストールすることで下記の可視化が可能になります。（画像2-1、2-2）

3D 散布図
箱ひげ図
分布図
ダウンサンプリングされた折れ線グラフ
予測チャート
ヒートマッププロット
ヒストグラムチャート
外れ値チャート
散布図
散布図行列

画像2-1. 3D散布図

画像2-2. 箱ひげ図

MLTKのUIとナビゲーションバー

SplunkのUIからMLTKを開いたときのUIとナビゲーションバーは下の画像(画像3-1)です。赤枠がナビゲーションバーとなります。

画像3-1. MLTKのUIとナビゲーションバー

各ナビゲーションバーとその概要は以下の通りです。

Showcase	選択した機械学習の手法に対しMLTKに同梱されているサンプルデータセットを入力し、機械学習モデルのモデル例を作成する
Experiments	ユーザーのデータに基づいてモデルを作成する
サーチ	データ検索、及び検索されたデータに対する機械学習モデルを適用する
Models	作成した機械学習モデルの一覧を表示する
設定	MLTKで用意されている機械学習アルゴリズムのパラメータをチューニングする
Docs	MLTKドキュメントを確認する
Video Tutorial	ビデオでMLTKの使い方を確認する

例としてShowcase、Experiments、Models、設定、のUIをお見せします。

Showcase

下記４つの分析項目について分析例の確認ができます。（画像3-2）

Predict Fields	値の予測、分類
Detect Outliers	外れ値の検出
Forecast Time Series	時系列データの予測
Cluster Events	イベントのクラスタリング