Splunk

スプランク

SBペイメントサービス株式会社様

属人化を防ぎ、グラフィカルに状況把握が可能な仕組みを実現 システムステータスの可視化から原因究明までを容易にする Splunk IT Service Intelligence

Before
  • サービスが不安定になったときに全体把握に時間がかる
  • 有識者でないと障害原因の特定が難しい
  • スクラッチ開発によって属人化した環境になることを懸念
矢印:横
矢印:縦
After
  • システムごとに閾値を設定、色分けされて全体が把握できるようになった
  • グラフィカルにシステムの状態を可視化、誰でも使える環境が整備できた
  • 既存の環境にアドオンするだけ、属人化した環境から脱却することに成功
鈴木 彰氏

SBペイメントサービス株式会社
システム本部 システム運用統括部 運用課
鈴木 彰氏

アラート確認からリソース監視にまで幅広くSplunk Enterpriseを利用

決済代行をはじめとした各種金融サービスを提供しているSBペイメントサービス株式会社では、EC運営事業者などの加盟店と各決済基幹のシステムを連携させる仕組みを運用しており、加盟店が利用するフロントのアプリケーションサーバやDBサーバを数多く運用している。これらサーバのログを効率的に収集、分析するための基盤としてSplunk Enterpriseを2010年に導入、数年にわたって運用を続けてきたと語るのは、システム本部 システム運用統括部 運用企画課 鈴木 彰氏だ。「世界的にデファクトスタンダードな仕組みを念頭に、Splunk Enterpriseを選びました。調査時点でログ収集せずともSplunk内に情報が格納されており、強力なサーチコマンドであるSPLによって必要な情報へすぐにアクセスできる点を高く評価したのです」と鈴木氏は語る。

当初Splunk Enterpriseは、ログ監視から寄せられるアラート確認のための活用が中心だったが、CPUなどソースのリアルタイムなモニタリングツールとしても拡張することに。「監視対象のリソース情報が全てテキストで、可視化しづらい状況でした。そこで、新たにサーバリソースをログ化してSplunk Enterpriseに集約、ダッシュボード画面にてグラフ化することにしたのです」。本番環境での作業もモニタリングが容易になり、異常の見落としもなくなったと評価する。その後2017年には、可視化するためのプロジェクトがスタート。「確かにリソースは把握できるようになりましたが、サービスが不安定になったときなど、システム全体での事象を把握する必要があります。有識者でないメンバーでも原因特定が進められる環境が求められていました」と鈴木氏は当時を振り返る。

スクラッチ開発による “属人化”から脱却したい

ログ収集の基盤として利用していたSplunkEnterpriseを使ってサービス全体の可視化や分析が可能な環境づくりを考えた鈴木氏。実は、当初はスクラッチ開発することも検討し、実際に作り込みを行っていた。しかし、Splunkに慣れた人であればいざ知らず、さほど詳しくないメンバーが使うには難易度が高く、属人化しかねないことを懸念。そんな折、Splunkに関する導入支援を行っているマクニカが紹介したのが、ITサービスやビジネスサービス全体の可視性を高める監視および分析が可能になるSplunk IT Service Intelligenceだった。「実際にハンズオンを行っていただき、欲しかった機能がアドオンするだけで実装できることが分かりました。費用も最初から開発するよりも安価に導入でき、誰にでも使いやすい仕組みができると考えたのです」と鈴木氏。

豊富な経験で導入を強力にバックアップ

Splunk IT Service Intelligenceについては、システムごとにモニタリングしたい項目における閾値を設定し、ログを集めているサーバ群の関係性を示したGlass Tableと呼ばれるシステムマップをGUIにて作成。ダッシュボード上では、色分けされた形でシステム状態が可視化できるようになっており、有識者でなくともどこが問題なのか一目で分かるように工夫するなど、属人化を防ぐことに成功している。各種ログはSplunkフォワーダーにてリアルタイムに収集し、1日あたり100GBほどのログを数日間保持したうえで、一部はアーカイブしたうえで順次破棄する運用を採用している。万一異常が発生すれば、相関分析が可能なDeep Diveへドリルダウンすることで時系列での相関分析が可能だ。なお、アプリケーションパフォーマンス管理ツールなど他社製品との連携を通じて、Splunk IT ServiceIntelligenceから詳細な分析が可能となっている。

事前の処理なくデータを投入しても後から分解して活用できる柔軟性や、一般的なエンジニアであれば理解しやすいサーチ処理言語であるSPLの使い勝手の良さなどSplunkEnterprise自体の評価はもちろん、管理職や経営層などシステムに精通していない層にも見た目でシステムの状態が把握できるSplunkIT Service Intelligenceに関して評価が高い。Deep Diveで時系列を合わせて確認できるため、情報共有しながら周囲とのコミュニケーションが可能になり、目線を合わせやすくなっていると鈴木氏。しかも、時系列も含めた高度な分析が片手間で行うことができる点も見逃せないと評価する。

今回のプロジェクトでは、Splunkソリューションを数多く手掛けるマクニカが、Splunk IT Service Intelligenceの提案をはじめ、ハンズオンの開催、現場への導入支援、運用サポートまで、さまざまな形で支援を行っている。「Splunkの経験が豊富でスキルの高いエンジニアがマクニカには多く在籍しており、バージョンアップ時にもトラブルなく対応いただけました。詳細な質問にも的確に回答いただき、Splunk IT ServiceIntelligence導入も支障なく行うことができて感謝しています」と鈴木氏は評価する。メーカーとの関係性が緊密なため、Splunkに関する改善要望が届きやすく、実際に改善に結び付いたこともあったという。「全社としては、Splunk以外のソリューションでもお世話になっています。我々の課題にさまざまな形で支援いただけて助かっています」と鈴木氏。

  • 毎朝Splunkで情報を確認し業務を開始する習慣が浸透

サービス目線での可視化を行っているアプリケーションパフォーマンス監視ツールなど他の環境と柔軟に連携することで、Splunk IT Service Intelligenceでシステムの状態を可視化できるだけでなく、同じ画面から容易に他社ツール含めてドリルダウンできます。複数あったダッシュボードの一口が1つに統一できたのはとても大きい。

AI活用によってさらなる精度向上を目指す

今後は、収集しているログの範囲をネットワーク機器も含めて拡大させていくことで、ネットワーク部分に起因しているトラブルの際にも詳しく見ていけるようにしたいとその意気込みを語る。また、Splunk IT ServiceIntelligenceが持つ機械学習の機能についても期待しており、運用のなかでうまく取り入れていきたいと期待を寄せる。「システムごとに設定しているKPIはこれまでのノウハウから導き出されていますが、機械学習を使って微調整できれば、さらに精度を高めることができるはず。システムステータス全体の可視化をさらに進めていきたいですね」と今後について語っていただいた。

User Profile

SBペイメントサービス株式会社
URL

https://www.sbpayment.co.jp/

ソフトバングループにおける決済や金融に関する中核企業。EC運営事業者向けにクレジットカード決済やキャリア決済といった様々な決済手段を提供するオンライン決済代行事業をはじめ、ソフトバング携帯ユーザー向けの通話料合算請求に関する開発・運営、カード加盟店審査や端末決済サービスの提供といったカード加盟店業務、カード発行業務などを行っている。なかでも中核事業であるオンライン決済サービスは、40を超える決済手段を用意しており、コンビニ支払いやプリペイドカード、口座振替、ポイント支払などにも対応可能。2017年実績で取扱高が2兆5334億円、2018年10月時点で100,474店舗の導入実績を誇る、業界屈指の決済サービスを提供している。

お問い合わせ・資料請求

株式会社マクニカ  Splunk 担当

平日 9:00~17:00