１．Typing Pipelineの処理が滞っている

まず、①で把握したお客様のキューの状況より、Indexing Queueでは詰まりが発生していませんでした。Typing Queue以前のキューが詰まり気味となっていることから、Typing Pipelineでの処理が滞っていると考えられます。

Typing Pipelineで行われている主な処理は、正規表現を用いたイベントの加工処理です。したがって、正規表現処理の中に、負荷の高い表現が含まれている可能性があります。

どの正規表現処理に負荷がかかっているかも、Splunkの内部ログであるmetrics.logを解析することで、確認することができます。

metrics.logには、ホスト、ソース、ソースタイプ、インデックス単位で、イベント分割処理や正規表現処理などのイベントの処理にかかったCPU使用時間が記録されています。

正規表現処理は、ホスト、ソース、ソースタイプ毎に設定が行われるため、どの正規表現CPU使用時間がかかっているかを調査することが可能です。

お客様のmetrics.logを解析した結果、あるソースタイプに対して設定していた正規表現処理について、CPU使用時間が長いことが分かりました。

2．取り込むデータの量が多い

①で把握したお客様のキューの状況より、キュー詰まりは慢性的には発生しておらず、データの取り込み量が多い時間帯に発生することが分かりました。

したがって、データの取り込み量が多くなる時間帯は、取り込み量に対して、インデクサーの処理能力が追い付いていない可能性があります。

１．インデクサーにかかる処理の負荷を低減させる

1. 正規表現処理の変更
   調査結果より、処理に時間のかかる正規表現処理が行われていることが分かっています。
   したがって、該当する正規表現を変更することで、事象が解消される可能性があります。
2. データ取り込み量の低減あるいは平滑化
   調査結果より、データ取り込み量が多い時にキュー詰まりが発生しています。また、お客様の環境では、データの取り込み量に時間によってムラがあることが分かっています。したがって、データの取り込み量を減らす、あるいは時間による取り込み量のムラをなくして平滑化することで、データの取り込み量が多くなることを防ぎ、事象が解消される可能性があります。
3. ヘビーフォワーダーの導入
   お客様の環境では、フォワーダーにユニバーサルフォワーダーを使用していました。ユニバーサルフォワーダーでは、データの解析処理が行われないため、パイプラインの一連の処理はすべてインデクサーで行われます。一方、ヘビーフォワーダーでは、データの解析処理が行われるため、ヘビーフォワーダーで取り込んだデータについては、インデクサーで解析処理を行う必要がありません。したがって、ヘビーフォワーダーを導入することで、インデクサーにかかる負荷を低減し、事象が解消される可能性があります。

２．インデクサーの処理能力を向上させる

• パイプラインの増設
  インデクサーの処理能力を向上させることで、パイプライン処理が滞ることがなくなり、事象が解消される可能性があります。インデクサーでは、取り込み処理能力を向上させるために、パイプラインを増設することが可能です。デフォルトでは、パイプラインは1本であり、データ取り込み処理は1本のパイプラインで行われます。パイプラインを2本に増設することで、2本のパイプラインで並列してデータ取り込み処理を行うことが可能となり、処理能力が向上します。
  パイプラインを増設する方法については、弊社サポートサイトのFAQ記事内にも掲載しているため、よろしければ併せて確認してみてください。
• インデクサーのパイプラインを増加することで取り込み処理速度を向上させる方法
  https://support.mnc.macnica.co.jp/hc/ja/articles/11058470373529
  ※弊社保守ユーザ様のみアクセスが可能です。

上記の対処策について、お客様に提案を行います。
その際、お客様環境の具体的な要件等をお伺いしながら、実施可能な対処策を上記の中から検討します。