特定のイベントを取り込まない方法

公開日
2018-06-18
最終更新日
2023-12-05
バージョン
Splunk Enterprise 9.1.0
概要
ログデータを取り込む際、transforms.confの設定(REGEX、FORMAT、DEST_KEY)を使用することで、特定のログデータをフィルタリングをすることができます。ヘッダー行や特定の文字列を含むイベントを除外して取り込む際にご利用ください。
参考情報
内容

特定のイベントを正規表現によりフィルタリングを行い取り込せないようにする手順

【手順】

  • transforms.confに除外対象とするイベントを正規表現で指定します。

/opt/splunk/etc/system/local/transforms.conf が存在しない場合は新規作成します。


				[null1]※
				REGEX = <正規表現A>※
				DEST_KEY = queue
				FORMAT = nullQueue
				[null2]※
				REGEX = <正規表現B>※
				DEST_KEY = queue
				FORMAT = nullQueue

設定例:msg=aaa、もしくはmsg=bbbという文字列が含まれるイベントを除外して取り込む場合


				[null1]
				REGEX =msg\=aaa
				DEST_KEY = queue
				FORMAT = nullQueue
				[null2]
				REGEX =msg\=bbb
				DEST_KEY = queue
				FORMAT = nullQueue;

補足

  • 必ずUTF-8で保存してください。
  • transforms.confにおいて、「DEST_KEY」,「FORMAT」の部分は変更不要です。
  • 正規表現A、及び正規表現Bには除外したい文字列にマッチするような正規表現を記載する必要がございます。

※印の部分(スタンザ名、正規表現)は御社環境に合わせた設定をお願い致します。

  • props.confで、ログのソースタイプの既存行の下に取り込み設定を追記します。

[<ソースタイプ名>]TRANSFORMS-null=null1,null2

設定例:ソースタイプtestに対する設定


				[test]
				TRANSFORMS-null=null1,null2

補足

  • 上記はソースタイプに対する設定となりますがソースタイプの他に、ホスト、ソースに対して適用することも可能です。
  • 設定値の記載方法TRANSFORMS-<一意のクラス名>=<transforms.confにおいて使用したスタンザ名>
  • ここではクラス名をnullとし、transforms.confの設定にてnull1, null2を使用しているためイコールの右側にカンマで区切って設定しています
  • Splunkを再起動します。

【注意事項】

  • 設定はインデックスサーバー(もしくはヘビーフォワーダー)上で行います。(ユニバーサルフォワーダー上では設定できません)
  • 設定を行った後に取り込まれるイベントのみが対象となります。すでに取り込まれたイベントは削除されません。

以上