add oneshotとは

add oneshot はCLIから実行するSplunkのコマンドの一種で、指定したファイルをインデックスに取り込むために使用します。

このコマンドでのファイルの取り込みは、実行時に１度だけ行われます。

具体的には、以下のような状況で利用できます。

• 設定の不備等により上手く取り込まれなかったファイルを再度取り込む
• delete コマンドで削除したファイルのデータを再度取り込む
• テスト用のファイルを試験的に取り込む

また、add oneshotコマンドを実行するSplunkのインスタンスによって動作が異なります。

• インデクサー：コマンドを実行したインデクサーに取り込まれます。
• ユニバーサルフォワーダー：転送先のインデクサーに取り込まれます。

add oneshotの構文

以下が add oneshot コマンドの構文です。

＜構文＞

$SPLUNK_HOME/bin/splunk add oneshot <取り込みファイルパス> [-オプション 値]

※$SPLUNK_HOMEはインストールディレクトリです。デフォルトでは以下になります。

Windows :

Splunk Enterprise : C:\Program Files\Splunk
Universal Forwarder : C:\Program Files\SplunkUniversalForwarder

Linux :

Splunk Enterprise : /opt/splunk
Universal Forwarder : /opt/splunkforwarder

以下は取り込みファイルパスと合わせて、インデックスとソースタイプ、認証用のオプションを追加して実行する際のコマンドの例となります。

＜コマンド実行例＞

/opt/splunk/bin/splunk add oneshot /var/log/secure
-index security -sourcetype linux_secure -auth admin:password

※実際に実行する際は、オプション指定を含めて１行で入力してください。

＜取り込み条件＞
Splunk のインストールディレクトリ : /opt/splunk
取り込みファイルパス : /var/log/secure
取り込み先インデックス : security
取り込みログのソースタイプ : linux_secure
管理者ユーザー : admin
管理者パスワード : password

＜実行例＞

/opt/splunk/bin/splunk add oneshot /var/log/secure -index security
-sourcetype linux_secure -auth admin:password

※実際に実行する際は、オプション指定を含めて１行で入力してください。

各オプションの詳細については、下記「コマンドオプション」を参照ください。

注意事項

• 取り込みファイルパス以外は任意のオプションとなりますが、意図しないインデックスやソースタイプで取り込まれるのを防ぐために、必ず指定するようにしてください。
• 取り込みファイルパスには、取り込み対象のファイルをフルパスで指定してください。
• 複数ファイルを取り込む場合、"*" などのワイルドカードは利用できないため、１ファイルずつフルパスを指定して実行してください。

コマンドオプション

• -sourcetype ＜ログのソースタイプ＞
  1. 取り込み時のソースタイプを指定する場合に使用します。指定しない場合には、取り込み時に自動認識されたソースタイプが設定されます。

• -index ＜取り込み先インデックス＞
  1. 取り込み先インデックスを指定する場合に使用します。指定しない場合には main インデックスに取り込まれます。

• -hostname ＜ホスト名＞または-host ＜ホスト名＞
  1. 取り込み時のホスト名を指定する場合に使用します。指定しない場合にはサーバーのホスト名が設定されます。

※以下のファイルはログ内の情報からホスト名を取得していますのでオプション指定できません。

• *.evtxファイル
• syslogファイル（-sourcetype syslogを指定した場合）

• -hostregex ＜正規表現＞または-host_regex ＜正規表現＞
  1. ファイルのフルパスの一部を、ホスト名として抽出する際に指定します。正規表現内の、最初の括弧（）内にマッチした部分がホスト名となります。正規表現がファイルパスにマッチしない場合は、サーバーのホスト名が設定されます。

• -hostsegmentnum ＜パス階層数＞または-host_segment ＜パス階層数＞
  1. ファイルのフルパスに含まれるディレクトリ名またはファイル名を、ホスト名として抽出する際に指定します。
     例えば以下のようにオプション指定をした場合、上位から３階層目のディレクトリ名である、"splunk-server" がホスト名として設定されます。

＜Linuxでの例＞

$SPLUNK_HOME/bin/splunk add oneshot
/var/log/splunk-server/messages.log -hostsegmentnum 3

＜Windowsでの例＞

$SPLUNK_HOME\bin\splunk add oneshot
C:\var\log\splunk-server\messages.log -hostsegmentnum 3

※Windows の場合はドライブ指定を除いた階層数の指定になります。

• -rename-source ＜ソース＞
  1. 取り込み時のソースの値を指定します。指定しない場合にはファイルのフルパスが設定されます。

• -auth ＜ユーザー名＞:＜パスワード＞
  1. 取り込み時のユーザー認証に利用するユーザー名とパスワードを指定します。指定していない場合には、コンソール上でユーザーとパスワードの入力を求められますので、Splunk の admin ユーザーで認証してください。

splunkに設定したアラートを下記のCLIコマンドで有効化／無効化することが出来ます。

アラートを無効化する場合

curl -ku <username>:<password>
https://<server_IP>:8089/servicesNS/<owner-name>/
<app-name>/saved/searches/<saved-search-name> -d "disabled=1"

アラートを有効化する場合

curl -ku <username>:<password>
https://<server_IP>:8089/servicesNS/<owner-name>/
<app-name>/saved/searches/<saved-search-name> -d "disabled=0"

※<owner-name>、<app-name>、<saved-search-name>には設定を無効にしたいアラートの所有者、app名、アラート名を入力してください。詳細につきましては参考情報をご覧ください。

うるう秒によるSplunkのサービスの停止などの影響はありません。

しかし、Splunkはうるう秒をタイムスタンプとして認識しません。タイムスタンプがうるう秒の場合に考えられる影響として、下記2つがあります。

タイムスタンプが認識できず、イベントが複数行になってしまう可能性があります。

タイムスタンプが実際のタイムスタンプと異なる値で認識されます。

イベントが複数行になる場合について

Splunkはデフォルトの設定では、イベント区切りをタイムスタンプとしています。
複数行を1イベントと設定している場合、区切り文字を明示的に指定しているため影響はありません。

1行1イベントでデータが出力されている場合、対象のデータ取り込み設定のソースタイプに対して、props.confに"SHOULD_LINEMERGE=false"^※が明示的に定義されていないと、タイムスタンプが認識できず、イベントが複数行になってしまう可能性があります。

※「SHOULD_LINEMERGE=false」という設定は1行1イベントとして取り込むための設定です。このデフォルトの値は「true」であり、またBREAK_ONLY_BEFORE_DATEという設定が「true」になっているため、タイムスタンプの前でイベントを区切ります。タイムスタンプが認識できない場合、1行はLINE_BREAKERという設定に定義されている正規表現によって判断されます。LINE_BREAKERのデフォルトの値は ([\r\n]+)です。

認識されるタイムスタンプが実際と異なる場合について

Splunkが取り込んでいるログやデータに8:59:60秒(うるう秒)のように、""60""が表示されたタイムスタンプが出力された場合、下記の動作をします。その後は、1.～4.の順で該当するものが適用され、処理されます。

• Splunkがイベントのタイムスタンプ（日付+時間）を認識できない場合、同じソースの最新イベントと同じタイムスタンプで認識します。
  例えば、2015年7月1日 8時59分60秒の前が59秒のイベントであれば、60秒のタイムスタンプは認識できないため、直前の2015年7月1日8時59分59秒として認識します。
• Splunk Enterpriseの取り込み対象のログファイル等にイベントの時刻のみ（日付情報が無い）が含まれている場合、ログファイルのファイル名やソース名から日付の情報を適用します。
• 上記２．に該当しない場合は、Splunkはファイルの更新日付をイベント取り込み時に適用します。
• 上記のいずれの対応もできない場合、Splunkはイベント取り込み時のシステム時間を適用して取り込みます。"

検索に利用する検索ボックスは、デフォルトで白背景であり、検索文を書きこむと検索コマンドや論理演算子が色分けされて表示されます。

この色の組み合わせを以下の3つから選択することが出来ます。

• デフォルトのシステムテーマ（ライトのテーマがデフォルトして設定されています。）
• ライト
• ダーク
• 白地に黒

以下の手順で、検索ボックスの色を変更することが可能です。

• SplunkWebにログインします。
• Splunkバーの「ユーザー名」＞「基本設定」を選択します。
• 「SPLエディター」タブの「詳細エディター」を有効にします。
• 「テーマ」タブの「サーチバーのテーマ」により、変更したいテーマを選択します。
• 「適用」を選択します。

例えば、ダークを選択すると以下のようになります。

検索結果の出力

SplunkではSplunkWeb上で実行した検索の結果を、CSV形式にてSplunkサーバー内の$SPLUNK_HOME/var/run/splunk/csv配下に出力することが可能です。

※$SPLUNK_HOMEのパス情報（デフォルトインストールの場合）
Linux OS：/opt/splunk
Windows OS：C:\Program Files\Splunk

出力方法

検索結果の出力には、outputcsvコマンドを使用します。

outputcsvコマンドを使用すると、splunkの検索結果で得られたrawデータや統計情報をCSV形式でサーバー上に保存することが可能です。

使用方法

| outputcsv <保存するファイル名>.csv

使用例

index=_internal | head 10 | table host,source | outputcsv test.csv

上記のコマンドを実行すると、test.csvというファイルが出力されます。

※outputcsvコマンドはリスクの高いコマンドに指定されている為、実行時に警告が出力されます。警告が出力されると「キャンセル」「実行」「調査」から次のアクションを選択でき、「実行」を選択するとそのままコマンドが実行されます。詳細については、下記のSplunk社公式ドキュメントをご参照ください。

https://docs.splunk.com/Documentation/Splunk/9.4.0/Security/SPLsafeguards

SplunkWeb上での出力結果の確認方法

上記手順にて出力されたCSVファイルは、SplunkWeb上でinputcsvコマンドを使用することによって中身を見ることができます。

• inputcsvコマンド使用例

コマンド例

| inputcsv test.csv

上記のコマンドを実行すると、test.csvファイルの中身を画面上に表示させることが可能です。

設定手順

Splunk Webにて設定を行います。

• 画面右上の設定＞ナレッジ 詳細サーチ＞サーチマクロにて、新規作成をクリックします。
• 任意の宛先Appを選択します。
• 名前欄にマクロ名を記入します。ここで設定した名前を検索時に使用します。
  ※使用できる文字は英数字、アンダースコア(_)、ダッシュ(-)です。
• 定義欄に以下を記入します。
  NOT ((_time > 1427814000 _time < 1427817600) OR (_time > 1427932500 _time < 1427932800))
• 設定を保存します。任意でサーチマクロの画面にて、共有中の権限をクリックし、作成したマクロの権限を追加します。
• 検索文に`<マクロ名>`を追加し、検索を実行します。
  検索例: index=test ERROR `macro`

取り込んだデータを、インデックスからデータごと削除する手順について記載します。

インデクサークラスタリングを使用しているかどうかで手順が異なりますので、環境に合わせた方法にて削除を行ってください。

なお、特定のイベントのみデータをディスクから削除する方法はありません。

スタンドアロン構成（非インデクサークラスタリング環境）の場合

方法1：個別のインデックスを削除する手順

【手順】

• Splunkを停止します。

例）

$SPLUNK_HOME/bin/splunk stop

※デフォルトインストールの場合の$SPLUNK_HOME

Linux：/opt/splunk

Windows：C:\Program Files\splunk

• 以下のコマンドを実行します。

例）

$SPLUNK_HOME/bin/splunk clean eventdata -index <index_name>

※インデックス単位でデータを削除することが可能です。例えば、<index_name>としてmainを指定しますと、mainに蓄積されているデータは全て削除されます。

例）

$SPLUNK_HOME/bin/splunk clean eventdata -index main

※-index以降を省略すると、全インデックスデータを削除します。

例）

$SPLUNK_HOME/bin/splunk clean eventdata

• Splunkを開始します。

例）

$SPLUNK_HOME/bin/splunk start

方法2：frozenTimePeriodInSecsの利用

削除対象のインデックスの保存期間を変更し、自然にローテーション（削除）されるのを待つ方法となります。

frozenTimePeriodInSecsの詳細は、下記ドキュメントをご覧ください。

http://docs.splunk.com/Documentation/Splunk/7.0.2/Indexer/Setaretirementandarchivingpolicy

【手順】

• データを削除したいIndexに、ファイルやフォルダ監視などでデータを取り込んでいる場合、フォワーダーもしくはインデクサー上のinputs.confからその設定を削除し、データが新しく取り込まれないようにします。

• $SPLUNK_HOME/etc/system/local配下もしくは$SPLUNK_HOME/etc/apps/<任意のapp>/local配下のindexes.conf(無ければ新規作成)に下記のスタンザを追加します。

（設定例）

[<削除したいindex名>]
frozenTimePeriodInSecs = 100

※秒単位で指定します。例えば上記設定を行った場合、バケツの中に存在するイベントの中で一番新しいタイムスタンプが、SplunkのインストールされているOSの時刻より、100秒以上前の場合、そのバケツをfrozen状態に移行します。

• 再びSplunkを再起動します。

インデクサークラスタリングを使用している場合

インデクサークラスタリング機能を使用している場合、特定のインデクサー上にある、特定のインデックス単体を削除することは出来ません。

クラスター構成の場合は、以下の方法にて全インデクサー（クラスターピア）上よりインデックス単位でデータを削除することが可能です。

【手順】

• データを削除したいIndexに、ファイルやフォルダ監視などでデータを取り込んでいる場合、フォワーダーもしくはインデクサー上のinputs.confからその設定を削除し、データが新しく取り込まれないようにします。
• クラスタマスター上の$SPLUNK_HOME/etc/master-apps/_cluster/local配下のindexes.conf(無ければ新規作成)に下記のスタンザを追加します。

（設定例）

[<削除したいindex名>]
frozenTimePeriodInSecs = 100

※秒単位で指定します。例えば上記設定を行った場合、バケツの中に存在するイベントの中で一番新しいタイムスタンプが、SplunkのインストールされているOSの時刻より、100秒以上前の場合、そのバケツをfrozen状態に移行します。

• CLIにて下記コマンドを使用し、クラスタマスターの設定をクラスタピアに配布します。

$SPLUNK_HOME/bin/splunk apply cluster-bundle

※上記コマンドを実行すると、全てのピアを再起動するか確認を求められますのでyesを入力してください。

※変更されたfrozenTimePeriodInSecsの設定値を配布したのみでは、Splunkサービスは再起動されませんが、配布後の設定が有効な状態になります。

上記コマンドの詳細につきましては、下記ドキュメントをご覧ください。

http://docs.splunk.com/Documentation/Splunk/7.0.2/Indexer/Updatepeerconfigurations

• HOTのステージにあるバケツをWARMのステージに遷移させるため、クラスターマスターからクラスタピアをローリングリスタートさせます。

$SPLUNK_HOME/bin/splunk rolling-restart cluster-peers

上記コマンドの詳細につきましては、下記ドキュメントをご覧ください。

http://docs.splunk.com/Documentation/Splunk/7.0.2/Indexer/Userollingrestart

• 上記③を再び実行します。

設定の目的

サーチヘッドのインデックスデータをインデクサーに転送することで、サーチヘッドとインデクサーの内部ログやサマリーインデックスを一元管理することが可能となります。

設定方法

設定方法にはWebGUIからの設定と設定ファイルの編集の2種類あります。

○WebGUIからの設定

【手順】

• SplunkWeb画面右上より「設定＞転送と受信」を選択します。
• 転送と受信メニュー内の「転送のデフォルト」を選択します。
• 「転送されたイベントをローカルにコピーして保管しますか？」を「いいえ」にセットして「保存」を選択します。
• 転送と受信メニュー内の「転送の設定」の右側ボタン「新規追加」を選択します。
• データの転送先を入力する画面が開かれるので、ホスト欄に送信先を「ホスト：ポート」または「IP：ポート」の形式で指定し「保存」を選択します。

○設定ファイルの編集 サーチヘッドのoutputs.confを下記のように変更します。

【内部ログ転送の設定例】

※インデクサー3台（Indexer A,B,C)に対してデータを分散転送する場合の設定例となります。

$SPLUNK_HOME/etc/system/local/outputs.conf

[indexAndForward]
index = false

[tcpout]
defaultGroup = test
forwardedindex.filter.disable = true
indexAndForward = false

[tcpout:test]
server=<IndexerAのIP>:<受信ポート>,<Indexer BのIP>:<受信ポート>,<Indexer CのIP>:<受信ポート>
autoLB=true

※デフォルトインストールの場合

$SPLUNK_HOME(Linux) : /opt/splunk
$SPLUNK_HOME(Windows) : C:\Program Files\splunk

※設定を反映させるには、Splunkサービスの再起動が必要となります。

例

$SPLUNK_HOME/bin/splunk restart

注意事項

• サーチヘッドの内部ログがインデクサーに追加で保存されるため、転送量によってはインデクサーの内部インデックス（_internalなど）の容量を大きくする必要があります。
• この設定を行うとサーチヘッドに取り込むデータが全てインデクサーへ転送されます。もしも内部ログ等以外にサーチヘッドへ取り込んでいるデータがある場合、そのデータも転送対象となります。
• 転送対象のデータは設定後に追加されたもののみとなります。設定前に取り込まれたデータについてはインデクサーへ転送されません。

1イベントの最大サイズ（1行の最大サイズ、最大行数）のデフォルト値と変更方法を以下に記載します

1行の最大サイズについて

1行の最大サイズは、デフォルトでは10000バイトです。

1行が10000バイトを超えるデータは、10001バイト以降が切り捨てられます。

変更する場合はprops.confファイルのTRUNCATEの値を変更します。

設定例

＜対象ファイル＞

ヘビーフォワーダー、（ヘビーフォワーダーを使用していない場合は）インデクサー

$SPLUNK_HOME/etc/apps/<App名>/local/props.conf

または

$SPLUNK_HOME/etc/system/local/props.conf

＜設定内容＞

[test]
TRUNCATE=50000

※1行の最大サイズを、バイト数で指定します。

※TRUNCATE=0を設定することで切り捨てを行わない動作となります。
以下に注意の上、環境に合わせて必要なサイズを指定してください。
注意
1行当たりの文字数が膨大なデータを取り込んだ際にパフォーマンスに影響を与えてしまう可能性があります。

※$SPLUNK_HOMEはインストールディレクトリです。デフォルトでは以下です。

Splunk Enterprise : /opt/splunk
Universal Forwarder : /opt/splunkforwarder

Splunk Enterprise : C:\Program Files\Splunk
Universal Forwarder : C:\Program Files\SplunkUniversalForwarder

設定変更後は、Splunkサービスを再起動してください。

$SPLUNK_HOME/bin/splunk restart

1イベントの最大行数について

1イベントの最大行数はデフォルトでは257行です。
それ以降はイベントが分割されて取り込まれます。

変更する場合はprops.confファイルのMAX_EVENTSの値を変更します。

＜設定例＞

イベントをソースタイプ「test」として取り込み、その最大行数を変更する場合

＜対象ファイル＞

ヘビーフォワーダー、（ヘビーフォワーダーを使用していない場合は）インデクサー

$SPLUNK_HOME/etc/apps/<App名>/local/props.conf

または

$SPLUNK_HOME/etc/system/local/props.conf

＜設定内容＞

[test]
MAX_EVENTS=256

※行数を指定します。上限値はありません。

※設定変更後は、Splunkサービスを再起動してください。

$SPLUNK_HOME/bin/splunk restart

注意事項

TRUNCATE、MAX_EVENTSのいずれも、インデックス処理や検索パフォーマンスへの影響を避けるための制限となります。

変更する際には、実質的に無制限となるような値ではなく、必要なサイズを指定してください。

JSON形式のログを取り込むためのソースタイプにてカスタムでフィールドを定義した場合、取り込んだログファイルを検索した際にフィールドが2重に表示される場合があります。

これはインデックス処理時(データ取り込み時)にフィールドが抽出され、なおかつ、データ検索時にもフィールドが抽出されたために同じフィールドが2重に表示される事が原因として考えられます。

対処方法として、サーチを実行するSplunkサーバーのprops.confファイルに、以下のパラメーターを追記する事で事象の回避が可能です。

設定ファイル

サーチを実行するSplunkサーバーのprops.conf

(設定ファイル例)

$SPLUNK_HOME/etc/system/local/props.conf
$SPLUNK_HOME/etc/apps/<App名>/local/props.conf

※注：デフォルトインストールの場合の$SPLUNK_HOME

Linux：/opt/splunk
Windows：C:\Program Files\splunk

設定内容

[<フィールドが重複しているデータのソースタイプ名>]

KV_MODE = none

＜設定例＞

[SourcetypeA]

KV_MODE = none

設定ファイル編集後、下記のURLへアクセスし「refresh」ボタンをクリックすることで再起動せずに設定内容を反映させることができます。

http://<SplunkサーバーのIPアドレス>:8000/debug/refresh

Splunkがデフォルトで用意しているサーバー証明書(server.pem)は、Splunkインストール後、最初にSplunkサービスを起動したタイミングで作成されます。

このサーバー証明書の失効日は最初に起動した日付から起算して3年後となります。失効日が近づいた場合、下記の手順でサーバー証明書を更新することが可能です。

server.pemの更新手順

• $SPLUNK_HOME/etc/auth フォルダ配下にある現在のserver.pem を一旦、$SPLUNK_HOME外のディレクトリより退避します。

※$SPLUNK_HOMEはインストールディレクトリです。デフォルトでは以下の通りです。

Linux :
Splunk Enterprise : /opt/splunk
Universal Forwarder : /opt/splunkforwarder
Windows :
Splunk Enterprise : C:\Program Files\Splunk
Universal Forwarder : C:\Program Files\SplunkUniversalForwarder

• Splunkサービスを再起動します。

コマンド例：

$SPLUNK_HOME/bin/splunk restart

• 再起動後、$SPLUNK_HOME/etc/authに新しいserver.pemが作成されていることを確認します。

※新しく作成したserver.pemの失効日は、$SPLUNK_HOME/etc/auth で下記のコマンドを実行することで確認ができます。

openssl x509 -enddate -noout -in server.pem

「rename」の機能について

Splunkではログの取り込み時に利用したソースタイプ名を指定することで、対象のログの検索を行うことが可能です。

「rename」という機能により、ログの検索時に指定するソースタイプ名を変更することが可能です。

この機能を利用することで、以下のような操作が行えます。

設定例

＜前提＞

＜設定対象ファイル＞

※$SPLUNK_HOMEはインストールディレクトリです。また、デフォルトでは以下の通りです。

Splunk Enterprise : /opt/splunk

Splunk Enterprise : C:\Program Files\Splunk

追加する設定

上記の設定追加後、検索時の対象のソースタイプの扱いは以下となります。

尚、検索時にフィールド「_sourcetype」を利用すると、変更前のソースタイプ名で対象のログを検索することが可能です。

＜例＞

注意事項

「rename」の機能は検索時のみ利用できます。ログ取り込み時に指定するソースタイプ名を変更することはできません。

更新方法

SplunkWebでSSL（HTTPS）を有効にした場合にデフォルトで使用するサーバー証明書(cert.pem）の失効日が近づいた場合、下記の手順でサーバー証明書を更新することが可能です。2通りの方法がありますので、いずれかの方法で更新してください。

尚、下記手順の$SPLUNK_HOMEはSplunkのインストールディレクトリに読み替えて実行ください。

※デフォルトインストールの場合

＜Linux＞

$SPLUNK_HOME : /opt/splunk

＜Windows＞

$SPLUNK_HOME : C:\Program Files\splunk

方法1

手順

• $SPLUNK_HOME/etc/auth/splunkweb フォルダ配下にある現在のcert.pem 、privkey.pemを$SPLUNK_HOME外のディレクトリへ移動します。
• Splunkサービスを再起動します。
  コマンド：

  $SPLUNK_HOME/bin/splunk restart

• 再起動後、$SPLUNK_HOME/etc/authに新しいcert.pem が作成されていることを確認します。

方法2

方法1で作成された証明書のキーサイズは2048bitです。キーサイズを変更する場合は本手順をご利用ください

手順

• $SPLUNK_HOME/etc/auth/splunkweb フォルダ配下にある現在のcert.pem、 privkey.pemを$SPLUNK_HOME外のディレクトリへ移動します。
• 下記コマンドを実行して証明書を更新します。
  コマンド：
  

  cd $SPLUNK_HOME/etc/auth/splunkweb
  $SPLUNK_HOME/bin/splunk createssl web-cert 3072

  ※3072はサーバ証明書のキーサイズです。省略した場合は方法1と同じキーサイズになります。
• Splunkサービスを再起動します。
  コマンド：
  

  $SPLUNK_HOME/bin/splunk restart

• 再起動後、$SPLUNK_HOME/etc/auth/splunkwebに新しいcert.pem、privkey.pemが作成されていることを確認します。

表示先が「プライベート」に設定されているサーチやレポート等は、対象ユーザーのアカウント削除伴い、そのサーチやレポート等は「所有者なし」となり、「Orphaned knowledge objects」と呼ばれ、想定しない動作を起こす可能性があります。

回避方法としてはサーチ、レポート等の表示先や所有者を変更する方法があります。

※所有者も併せて変更したい場合は事前にサーチ、レポート等の表示先を変更後、下記＜参考＞に従って、サーチ、レポート等の「オーナー」を変更してください。

表示先が「このAppのみ」もしくは「すべてのApp」に設定されているサーチやレポート等は、該当のAppを使用するユーザーが引き続きそのサーチやレポート等を使用できるため、一部のユーザーアカウントの削除を行っても特に問題ありません。

表示先が「プライベート」に設定されているサーチやレポート等を、引き続き他のユーザーにて使用する場合は、下記の手順に従ってサーチやレポート等の表示先を変更します。

• adminロールを持つユーザーでSplunk Webにログインし、「設定」>「すべての環境設定」を選択します。
• 左上の「App」を「すべて」に、「オーナー」を削除するユーザーにそれぞれ変更し、設定変更したいサーチ、レポート等を表示します。
• ２．で表示したサーチやレポート等に対して、「共有中」列の「権限」をクリックします。
• 「<保存済みサーチやビュー>の表示先」 を 「このAppのみ」もしくは 「すべてのApp」 へ変更します。

また、読み込み／書き込み権限を任意のロールに対して割り当てたのち、「保存」をクリックします。

※他ユーザーへのサーチやレポート等の共有範囲として、下記のパターンがあります。

• プライベート：サーチやレポート等を作成した所有者のみに共有されます。
• このAppのみ：該当するApp（例：search）を使用しているユーザー内で共有されます。
• すべてのApp：利用Appに関わらず、全てのユーザー内で共有されます。

※「<保存済みサーチやビュー>の表示先」 を変更できるのはadminロールを持つユーザーとなります。

削除を行うユーザーが作成したサーチ、レポート等の所有者を変更するには、下記の手順を実施してください。

• adminロールを持つユーザーでSplunk Webにログインし、「設定」>「すべての環境設定」を選択します。
• 右上の「ナレッジオブジェクトの再割り当て」をクリックします。
• 「所有者でフィルター」を展開し、削除するユーザーを選択します。
• 該当のナレッジオブジェクトの「再割り当て」を展開し、新しい所有者を選択して「保存」します。

データの検索可能な時間範囲について

デフォルトでは、ユーザーはSplunkに取り込まれている全時間のデータを検索することが出来ます。

ユーザー毎に検索可能なデータの時間範囲を制限したい場合、以下の方法にて設定することが出来ます。

検索可能時間範囲設定方法

• SplunkWebにアクセスし、設定 > アクセス制御 > ロール > 新規を選択します。
• ロール名を記載し、"サーチ時間範囲の制限"に、検索可能にしたい時間範囲を秒数で記載します。
  ※例えば、過去7日間のデータを検索可能に設定する場合、604800と記載します。
• 保存ボタンを選択します。
• 設定 > アクセス制御 > ユーザーから、検索対象時間範囲を制限したいユーザーを選択します。
• "ロールに割り当て"から、作成したロールを割り当てて保存します。

Splunkで利用できるグラフについて

Splunkは以下のグラフがデフォルトで利用できます。

• 折れ線グラフ
• 面グラフ
• 縦棒グラフ
• 横棒グラフ
• 円グラフ
• 散布図
• バブル・チャート
• 単一値
• 放射状ゲージ
• フィラーゲージ
• マーカーゲージ
• クラスタマップ
• コロプレスマップ

グラフの種類を増やす方法

デフォルトのグラフ以外を利用したい場合、以下の手順にてグラフの種類を拡張させることが出来ます。

グラフの種類の拡張手順

• SplunkWebにアクセスします。
• ホーム画面左上の歯車アイコン「Appの管理」を選択します。
• 「他のAppを参照」を選択します。
• APP CONTENTの「視覚エフェクト」にチェックを入れます。
  ※Splunk社サポートの視覚エフェクトを選択する場合はSUPPORT TYPEの「Splunk Supported」にチェックします。
• 追加したい視覚エフェクトの「インストール」を選択し、インストールをします。
  ※Splunk社サポートの視覚エフェクト名は「<グラフ名>- Custom Visualization」です。

サーチ結果の保存期間

サーチ結果の保存期間は、サーチの方法とアラートアクションが実行されたかどうかによって異なります。

• 手動でのサーチの場合の保存期間は、デフォルトで600秒です。
• スケジュールサーチ(アラートの実行等)の場合の保存期間は、デフォルトでスケジュール間隔の2倍となります。例えば1時間ごとにスケジュールが実行される場合、保存期間は2時間となります。
• 上記保存期間とは別に、スケジュールサーチでアラートアクションが実行された場合、実行されたアラートアクションで設定されている保存期間が有効となります。

保存されたサーチ結果は、Splunk Webのページ右上のアクティビティ＞ジョブより、確認することが可能です。

またサーチ結果はdispatch領域（デフォルトでは$SPLUNK_HOME/var/run/splunk/dispatch）に保存されます。

※デフォルトインストールの場合

＜Linux＞
$SPLUNK_HOME : /opt/splunk
＜Windows＞
$SPLUNK_HOME : C:\Program Files\splunk

スケジュールサーチの保存期間の変更方法

[sample]
dispatch.ttl = 100

アラートアクションが実行された場合の保存期間の変更方法

設定例:メール送信のアラートアクションで、100秒の保存期間を設定する場合

• 下記いずれかの設定ファイルに下記設定を追記します。

• システム全体で保存期間を変更する場合
  $SPLUNK_HOME/etc/sytem/local/alert_actions.conf
• App別に保存期間を変更する場合
  $SPLUNK_HOME/etc/apps/＜App名＞/local/alert_actions.conf

記入例:

[email]
ttl = 100

※[]内にアラートアクション名、ttlに保存期間を秒数で記載します。

※スケジュールサーチの保存期間とパラメーター名が異なります。

• 設定変更後、Splunkサービスを再起動します。

有効化/無効化の設定方法

• 有効化
  デプロイメントサーバーのCLIで以下のコマンドを実行します。
  $SPLUNK_HOME/bin/splunk enable deploy-server
• 無効化
  デプロイメントサーバーのCLIで以下のコマンドを実行します。
  $SPLUNK_HOME/bin/splunk disable deploy-server

$SPLUNK_HOMEはインストールディレクトリです。デフォルトでは以下です。
Linux :　/opt/splunk
Windows : C:\Program Files\Splunk

※機能を無効化した場合はSplunkサービスの再起動は不要です。

機能の有効/無効の確認方法

上記有効化/無効化のコマンドを実行すると以下のように設定値が変わります。設定ファイルから設定の有効/無効を確認することが可能です。

＜設定ファイル＞

$SPLUNK_HOME/etc/system/local/serverclass.conf

＜設定例＞

[global]
disabled = true

デプロイメントサーバー機能はdisable=trueもしくは1の時は無効、falseもしくは0の時は有効です。

有効化/無効化の設定方法

• 有効化
  デプロイメントクライアントのCLIで以下のコマンドを実行します。
  $SPLUNK_HOME/bin/splunk enable deploy-client
• 無効化
  デプロイメントクライアントのCLIで以下のコマンドを実行します。
  $SPLUNK_HOME/bin/splunk disable deploy-client

※$SPLUNK_HOMEはインストールディレクトリです。デフォルトでは以下です。

（Universal Forwarderの場合）
Linux :/opt/splunkforwarder
Windows :C:\Program Files\SplunkUniversalForwarder

（Heavy Forwarderの場合）
Linux :/opt/splunk
Windows : C:\Program Files\Splunk

上記コマンドで機能を有効化/無効化した場合、設定を反映させるためにSplunkサービスの再起動が必要です。

機能の有効/無効の確認方法

上記有効化/無効化のコマンドを実行すると以下のように設定値が変わります。設定ファイルから設定の有効/無効を確認することが可能です。

＜設定ファイル＞

$SPLUNK_HOME/etc/system/local/deploymentclient.conf

＜設定例＞

[deployment-client]
disabled = true

デプロイメントクライアント機能はdisabled=trueもしくは1の時は無効、falseもしくは0の時は有効です。

Splunkでiplocationコマンドを用いたとき、MaxMind社が提供しているMMDBファイルを参照して、ロケーション情報を出力しています。

MMDBファイルの更新手順

• Splunkサーバーの$SPLUNK_HOME/etc/system/local配下に移動し、limits.confをテキストエディタで開きます。（無い場合、limits.confを新しく作成してください。）

※$SPLUNK_HOMEのデフォルトのインストールパスは以下の通りです。

Linux: /opt/splunk/
Windows: C:\Program Files\splunk

• limits.confに下記設定を追記してください。

==========
[iplocation]
db_path = <更新するMMDBファイルのフルパス>
==========

（例）「$SPLUNK_HOME/etc」に配置している「GeoLite2-City.mmdb」に更新する場合

==========
[iplocation]
db_path = $SPLUNK_HOME/etc/GeoLite2-City.mmdb
==========

• Splunkサービスを再起動してください。

補足情報

分散環境でサーチヘッドとインデクサーが別インスタンスになっている場合、サーチヘッドとインデクサー両方のMMDBファイルを更新してください。

• whitelist：指定した文字列を含むファイル名のみ取り込みを行う
• blacklist：指定した文字列を含まないファイル名のみ取り込みを行う

特定のファイルを検索対象から除外する設定について

【whitelistにて特定のファイルのみ取り込み対象とする設定手順】

• 以下の設定ファイルを編集します。

$SPLUNK_HOME/etc/<任意のapp>/local/inputs.conf
 [monitor://<監視対象ディレクトリおよびファイルのパス等>]
 whitelist = \.log$

※whitelistに取り込み対象を指定する正規表現を設定します。

• Splunkサービスを再起動します。

【blacklistにて特定のファイルのみ取り込み対象から除外する設定手順】

• 以下の設定ファイルを編集します。

$SPLUNK_HOME/etc/<任意のapp>/local/inputs.conf
 [monitor://<監視対象ディレクトリおよびファイルのパス等>]
  blacklist = \.gz$

※blacklistに取り込み除外対象を指定する正規表現を設定します。

• Splunkサービスを再起動します。

データ例および設定方法

データフォーマット: 下記の通りA,Bの両方のフォーマットのイベントが同一ソースに存在します。

A: 日時 A項目 B項目 C項目 D項目 E項目
B: 日時 A項目 D項目 E項目

このデータをソースタイプ: sampleとして取り込むこととします。

設定手順

※設定ファイルは$SPLUNK_HOME/etc/<任意のapp>/local配下のものを編集します。

• transforms.confへ、A、Bそれぞれのケースでフィールド抽出できるように正規表現を設定します。

Aは、フォーマットに合わせて下記typeAの形式でフィールド抽出し、Bも同様に、フォーマットに合わせて下記typeBの形式でフィールド抽出します。

設定例：

[typeA]
REGEX = ^[^\s]+\s[^\s]+\s(?[^\s]*)\s(?[^\s]*)\s(?[^\s]*)
         \s(?[^\s]*)\s(?[^\s]*)$

[typeB]
REGEX = ^[^\s]+\s[^\s]+\s(?[^\s]*)\s(?[^\s]*)\s(?[^\s]*)$

• props.confへと、1つのソースタイプに、REPORTを2つ設定します。

設定例：

[sample]
　　　　REPORT-sample = typeA,typeB

※[]内はsourcetype等のスタンザ名を記載します。REPORT-<一意のクラス名> = <transforms.confで設定したスタンザ名> とします。

_auditインデックスについて

_auditインデックスには主にSplunkの動作履歴が内部ログとして蓄積されます。

_auditインデックスは、インストール直後、次のように設定されています。

インデックス名：_audit
最大サイズ：500,000MB (≒ 500GB)
保持期間：約6年

利用状況により、増加量は異なりますが、長期間の運用を継続する事でディスク容量を圧迫する事につながる可能性があります。

_auditインデックスの最大サイズ変更手順

これにより、Splunkはサービスの再起動なしに、_auditインデックスの最大サイズの変更を行います。

ここで指定したサイズが、現在のインデックスサイズよりも小さい場合、超過した分の過去のデータが削除されますので、ご注意ください。

＜savedsearches.confの保存先パス＞

[test_alert]
action.email.from=splunk@macnica.co.jp

※設定変更後はsplunkサービスを再起動してください。

以上

設定手順

• デプロイヤーの$SPLUNK_HOME/etc/shcluster/apps ディレクトリから削除対象のAppを削除
• 以下のコマンドを実行

$SPLUNK_HOME/bin/splunk apply shcluster-bundle -target <URI>:<管理ポート> -

auth <管理ユーザー>:<パスワード>

• ※注1：
• 1. target：任意のクラスターメンバーを指定してください。最終的にはすべてのメンバーに配布されるため、1つのサーバーのみの指定で問題ありません。
  2. auth：デプロイヤーのユーザ名・パスワード
  3. 管理ポートのデフォルトは8089です。

• ※注2：$SPLUNK_HOMEはインストールディレクトリです。デフォルトでは以下です。
• 1. デフォルトインストールの場合の$SPLUNK_HOME
  2. Linux：Splunk Enterprise : /opt/splunk
  3. Windows：Splunk Enterprise : C:\Program Files\Splunk

注意点

• 削除対象のAppが無効になっていた場合

削除対象Appのapp.confにて以下のようにAppが無効になっていた場合、サーチヘッドクラスターからAppを削除することができません。

[install]
state = disabled

無効になっているAppを削除する場合は、削除前に対象のAppを有効にしてください。手順は下記の通りです。

【手順】

デプロイヤーの$SPLUNK_HOME/etc/shcluster/apps/＜削除対象のApp名>/local/app.confを以下のように変更

[install]
state = enabled

以下のコマンドを実行

$SPLUNK_HOME/bin/splunk apply shcluster-bundle -target <URI>:<管理ポート> -auth <管理ユーザー>:<パスワード>

• Splunkの再起動について

Appの有効/無効を切り替えた時、及びAppの削除時には、最新の設定をSplunkに反映させるためSplunkの再起動が発生します。

サーチヘッドクラスター環境の場合、ダウンタイムを回避する為、すべてのサーチヘッドが一斉に再起動せず、タイミングをずらしながら順番に再起動されます。このため、サーチの行えない時間等は発生しませんが、影響の少ない時間帯を選んで作業を実施することをおすすめします。

【作業概要】

• 手順1.ユーザー専用のロールを作成する
• 手順2.ユーザーを作成し、手順1にて作成したロールを割り当てる
• 手順3.ロールに対してダッシュボードの読み取り権限を付与する

【作業内容詳細】

以下の順序にてロール、ユーザーへ作成したロールの割り当て、ロールへの権限付与を行います。

以上

キーワード検索について

Splunkではキーワード検索を実施すると、イベント上の該当キーワードがハイライトされます。

しかしながら、該当キーワードを含まない検索を実行した時には、ハイライトがされないためイベントのどこにキーワードが出力されているのかを探す必要があります。

highlightコマンドと呼ばれるコマンドを実行することで、任意のキーワードをハイライトさせることが出来るためイベント上から特定キーワードが出力されている箇所を目視で探すことが容易になります。

highlightコマンドついて

highlightコマンドは引数に取ったキーワードをハイライトすることが出来ます。

使用方法は以下になります。

<検索文> | highlight <キーワード>

例えば、以下のように検索を実行することでerrorというキーワードを目立たせることが出来ます。

<検索文> | highlight error

ログデータを取り込む際にtransforms.confでマスクをかけて、個人情報などを匿名化することが出来ます。

特定の文字列をマスキングする場合、REGEX※1でマスキング対象の前後を挟むような形で正規表現を指定し、FORMAT※2でマスクキングの出力形式を指定します。その後DEST_KEYで_rawを指定して、データの上書きを行います。

※1.REGEXとはログデータにかける正規表現を指定します。

※2.FORMATとは追加したい任意のフィールド名または値を含むイベントの出力形式を指定します。

※3.DEST_KEYとはFORMATの結果を反映させる対象を指定します。

＜データ例＞

"2006-09-21, 02:57:11.58", 122, 11, "Path=/LoginUser Query=CrmId=ClientABC&ContentItemId=TotalAccess&SessionId=3A1785URH117BEA&Ticket=646A1DA4STF896EE&SessionTime=25368&ReturnUrl=http://www.clientabc.com, Method=GET,IP=209.51.249.195,Content=", ""

＜設定例＞

--------------------
props.conf
--------------------
[対象ソースタイプ名]
TRANSFORMS-anonymize = anonymizer
--------------------
transforms.conf
--------------------
[anonymizer]
REGEX = (?m)^(.*)SessionId=\w+(\w{4}[&"].*)$
FORMAT = $1SessionId=##$2
DEST_KEY = _raw

＜マスク結果＞

...SessionId=3A1785URH117BEA...
↓
...SessionId=##7BEA...

Splunkの正規表現はPerl正規表現を利用しています。

Splunkで利用できる正規表現につきましては、以下のドキュメントをご参考ください。

https://docs.splunk.com/Documentation/Splunk/9.1.0/Knowledge/AboutSplunkregularexpressions#Character_types

※(?m)は複数行モードで正規表現を実行します。

※(.*)は任意の文字の繰り返しにマッチします。

※設定例の正規表現ではログデータの行頭から"SessionId="までと"SessionId="後の＆の前4文字以降にマッチします。

Windowsイベントログ取り込み時のデフォルトの動作

Windowsイベントログはinputs.confに[WinEventLog://<name>]の設定を追加することで取得することができます。

例：
アプリケーションログの場合
[WinEventLog://Application]
disabled = 0

Windowsイベントログを取り込む場合、Splunkは過去のイベントログから順次読み込みを開始します。

※1年前のWindowsイベントログがあれば、1年前のものから読み込みを開始します。

「current_only」パラメーターの仕様とデータ取り込み状況の管理方法

inputs.confには、「current_only」というパラメーターがあります。デフォルトでは0（無効）と設定されていますが、こちらを1（有効）にすることにより「Splunkが起動している間に生成されたWindowsイベントログのみ」取得します。

例えば、「current_only = 1」の設定をしてWindowsイベントログの取り込みを 7/1 12:00 に開始したとします。

この場合、 7/1 12:00以降でSpklukサービスが起動している間に出力されたWindowsイベントログが取り込みの対象となります。

※7/1 12:00 より前に出力されていた過去のWindowsイベントログは取り込みの対象となりません。

また、Windowsイベントログを取り込む場合、[monitor://<path>]などのデータ取り込みとは別に、[WinEventLog://<name>] 固有で取り込み状況を管理しており、Splunkは取り込み済みイベントログより過去のイベントログを取り込み対象から除外する仕様となっています。

※[WinEventLog://<name>] ではレコードナンバーで取り込み状況を管理しています。

過去のWindowsイベントログを取り込まない方法

上述した仕様を利用して、取り込み設定を追加した後に出力されたWindowsイベントログのみを取得するように動作させることが可能です。

$SPLUNK_HOME/etc/<任意のapp>/local/inputs.conf
[WinEventLog://<name>]
index = test
...（省略）
current_only = 1

$SPLUNK_HOME/bin/splunk restart

$SPLUNK_HOME/etc/<任意のapp>/local/inputs.conf
[WinEventLog://<name>]
index = test
...（省略）

注意事項

a. 必ず上記3.の手順の際に、Windowsイベントログが取り込まれたことを確認してください。

b. 上記4.の手順で、「current_only = 1」の設定を除外しなかった場合、Splunkが停止している間に出力されたWindowsイベントログが取り込まれなくなります。

c. 上記4.5.の手順の際に、Windowsイベントログの取りこぼしが発生する可能性があります。

d. current_only はWindowsイベントログの取り込み設定（[WinEventLog://<name>]）にのみ有効なパラメータです。

設定手順

• $SPLUNK_HOME/etc/system/local 配下の、alert_actions.confをファイルを開きます。
  （存在しない場合には新規作成します。）
• 作成したalert_actions.conf ファイルに以下を記載します。
  [email]
  reportCIDFontList = jp gb cns kor
• Splunkを再起動します。

$SPLUNK_HOME/bin/splunk restart

※$SPLUNK_HOMEはインストールディレクトリです。デフォルトでは以下の通りです。

Linux :

Splunk Enterprise : /opt/splunk
Universal Forwarder : /opt/splunkforwarder

Windows :

Splunk Enterprise : C:\Program Files\Splunk
Universal Forwarder : C:\Program Files\SplunkUniversalForwarder

手順

下記のコマンドを実行します。

$SPLUNK_HOME/bin/splunk edit user
-username ユーザー名 -password 新パスワード -auth ユーザー名:旧パスワード

※$SPLUNK_HOMEはSplunkのインストールディレクトリです。
デフォルトインストールの場合のパス情報
Linux：/opt/splunkforwarder
Windows：C:\"Program Files"\SplunkUniversalForwarder

コマンドの例

• Linuxの場合

/opt/splunkforwarder/bin/splunk edit user
-username admin -password macnica -auth admin:changeme

• Windowsの場合

C:\"Program Files"\SplunkUniversalForwarder\bin\splunk.exe edit
user -username admin -password macnica -auth admin:changeme

Linux環境の場合

• 保存先のファイルシステム上に、rawデータの合計サイズの1.2倍以上の十分な空き容量があることを確認します。

• 必要に応じて、インデックスデータ保存先にディレクトリを作成し、Splunkの起動ユーザーに対してアクセス権があることを確認します。

例：

mkdir /home/splunkdata
chown -R splunk:splunk /home/splunkdata
chmod +rw -R /home/splunkdata

• Splunkを停止します。

例：

/opt/splunk/bin/splunk stop

※$SPLUNK_HOMEはSplunkのインストールディレクトリです。デフォルトインストールの場合： /opt/splunk

• 2.で作成したディレクトリ配下へデータを移動します。

例：

mv /opt/splunk/var/lib/splunk/* /home/splunkdata/

• 環境変数をクリアします。

例：

unset SPLUNK_DB

• $SPLUNK_HOME\etc\splunk-launch.confを編集して新たなデータ保存先を指定します。

例：

vi /opt/splunk/etc/splunk-launch.conf

SPLUNK_DB = /home/splunkdataを追記します。

※必要に応じてsplunk-launch.confは予めバックアップを取得してください。

• Splunkを起動します。

例：

/opt/splunk/bin/splunk start>

• Webブラウザ経由でSplunkへアクセスし、作業前に取り込んだデータが検索できるとともに、新たなデータも取り込まれていることを確認します。

Windows環境の場合

• 変更したいドライブもしくはディレクトリに十分な空き容量があることを確認します。

※ネットワークドライブを保存先に使用することは、非推奨かつサポートしておりませんのでご注意ください。

• 必要に応じて、インデックスデータ保存先にディレクトリを作成し、Splunkの起動ユーザーに対してアクセス権があることを確認します。

例：

C:\Program Files\Splunk> D:D:\> mkdir \new\path\for\indexD:\> cacls D:\new\path\for\index /T /E /G :F

• Splunkを停止します。

例：

C:\"Program Files"\Splunk/bin/splunk stop

※$SPLUNK_HOMEはSplunkのインストールディレクトリです。デフォルトインストールの場合： C:\"Program Files"\Splunk

※コントロールパネルからサービスを停止することも可能です

• 2.で作成したディレクトリ配下へインデックスデータをコピーします。

例：

xcopy "C:\Program Files\Splunk\var\lib\splunk\*.*" D:\new\path\for\index /s /e /v /o /k

※$SPLUNK_HOMEはSplunkのインストールディレクトリです。デフォルトインストールの場合： C:\"Program Files"\Splunk

※コントロールパネルからサービスを停止することも可能です

• 環境変数をクリアします。

例：

set SPLUNK_DB=

• $SPLUNK_HOME\etc\splunk-launch.confを編集して新たなデータ保存先を指定します。

例：ファイル内に以下を追記します。

SPLUNK_DB=D:\new\path\for\index

※必要に応じてsplunk-launch.confは予めバックアップを取得してください。

• Splunkを起動します。

例：ファイル内に以下を追記します。

C:\"Program Files"\Splunk/bin/splunk start

• Webブラウザ経由でSplunkへアクセスし、作業前に取り込んだデータが検索できるとともに、新たなデータも取り込まれていることを確認します。