Splunk

スプランク

エヌ・ティ・ティ・スマートコネクト株式会社様

ストリーミング事業を強化するNTTスマートコネクト。 Splunkで多種多様なログの収集・分析を一元化し 障害原因の特定時間を10分の1に短縮

Before
  • ストリーミングサービスの品質維持と障害時の迅速な回復が課題
  • 障害対応のログ分析業務をスキルのあるエンジニアだけに依存
  • ログ分析スキルが属人化したことで人の異動とともに分析ノウハウが逸失
矢印:横
矢印:縦
After
  • 多様なログを一元的に分析しストリーミングサービスの品質維持を実現
  • 多面的なログの分析作業を容易にし、障害の原因特定時間を10分の1に短縮
  • エンジニアの分析ノウハウをテンプレート化して登録し作業効率を向上
井上 吉隆氏

NTTスマートコネクト株式会社
サービスオペレーション部
担当課長 井上 吉隆氏

壷井 直人氏

NTTスマートコネクト株式会社
サービスオペレーション部
壷井 直人氏

ストリーミングへの高い品質要求で障害時の迅速な回復が重要な業務に

NTTスマートコネクト株式会社(以下、NTTスマートコネクト)は、西日本最大級のデータセンターでサービスを提供する「ハウジング事業」と、初心者からプロユースまでをカバーする総合クラウドサービスの「クラウド事業」、データセンターを基盤に信頼性の高いストリーミングサービスを提供する「ストリーミング事業」の3本柱で先進企業の戦略的ITビジネスを支えている。

中でもストリーミング事業は、インターネットの黎明期から高校野球のライブ配信など数々の動画配信サービスに携わり、長年に渡り経験と実績を積み重ねてきた業界屈指の信頼性が強みといえる。その主体はリアルタイムに高画質ストリーミング配信を行うマルチデバイスオンデマンド配信サービス「SmartSTREAM」だ。

特に近年は、ワイヤレスを含めたブロードバンドの浸透とスマートデバイスの急速な普及によってWeb用の動画コンテンツが爆発的に増加し、ライブ中継、オンデマンド/ダウンロード配信、PC・モバイル・TVへのマルチデバイス配信など、ストリーミングサービスにおける品質への要求は放送と同じレベルが期待されるなど年々高く、複雑になっている。

しかし、インターネット回線を使ったストリーミング配信は、内外のさまざまな要因によって、再生が重くなったり、画質が乱れたり、あるいは映像が途切れたりするなどのトラブルが起こり得る。そのため、SmartSTREAMの各種サービスではサービス品質の維持や万が一の遅延・障害時の迅速な回復が重要な業務になっていたという。

「原因究明と障害箇所の特定はストリーミングアプリケーションのログを収集・分析することによって行われますが、通常は時間がかかり大変な作業になります。しかし迅速に分析結果を報告しなければならないため、従来は経験とスキルを有したエンジニアに頼らざるを得ませんでした」と語るのは、NTTスマートコネクト サービスオペレーション部 担当課長 井上吉隆氏だ。

SmartSTREAM用に設置したサーバの台数は100台規模であり、それに付随するネットワークやアプリケーションも数多く存在するため、どのような状況でトラフィックが落ちたのかを正確に判断することは難しい。そのため、サーバの負荷状況やネットワークのトラフィック状況などを膨大なログを元にUNIXコマンドで一つひとつ解析したり、独自にスクリプトを作成してログを整形したりするなど、経験により培った観点や、勘による属人的な対処が中心となっていたという。

「しかし、スキルが属人化したままでは作業負荷を分散できず、かつ人の異動とともに分析ノウハウも失われてしまいます。経験や知見をテンプレート化しつつ、専門家以外でも比較的容易にログを統合・分析できるシステムを導入しようと考えたのです」(井上氏)

ログの収集・分析機能と使いやすさ分析レスポンスの速さでSplunkを選定

システムの選定条件について、NTTスマートコネクト サービスオペレーション部 壷井直人氏は、次のように説明する。「ロードバランサーやスイッチなどのネットワーク機器から、サーバ、アプリケーションに至るまでのログデータを一元的に収集し、これらを串刺しにして分析できる機能の多様さと、サービスオペレーション品質の維持・向上につながるダッシュボードの使いやすさを重視しました」

今後システムがスケールアウトし、ログの量も増加することを前提に、分析レスポンスの速い高性能なシステムであることも必要な要件だったという。

2014年6月頃から複数の統合ログ管理システムを比較検討する中で、上記の条件を全て満たしていたのは「Splunk Enterprise」(以下、Splunk)だった。そして提供するベンダーはマクニカが選ばれた。その理由について、壷井氏は続ける。

「マクニカは、Splunk製品の販売・サポートにおける歴史が長く導入実績が豊富であるほか、国内唯一の認定トレーニングパートナーとして活動を保証されているので、Splunk導入後も運用管理者を対象にしたトレーニングコースを受講することで構築や運用に必要なナレッジをより深く習得できると判断しました」

また、井上氏は、Splunkは導入後が重要だと指摘し、運用のスキルを高めることが必要だったと話す。「マクニカは導入前にSplunkで実現可能な分析を実際のデータを用いてデモンストレーションを実施してくれた上に、Splunkをしっかり運用するためのコンサルテーションに力を入れていたことも評価していました」

  • ログの収集・分析機能と使いやすさ分析レスポンスの速さでSplunkを選定

ノウハウをテンプレート化して登録分析の属人化を解消し作業効率を向上

同社は2014年9月にSplunkの採用を正式に決定。10月に導入し、本番環境での運用を開始した。

今後本格的に効果を検証していくという井上氏は、Splunk運用後の変化を確かに感じているという。「機器ごとの大量ログをSplunkに統合し、システムの状態をダッシュボードから即座に取得できるようになったので、ログの分析が大変楽になりました。分析結果も自在に集計が可能で、検索機能も強力です。関連する複数のサーバのログを串刺しで一元的に検索し、分析した結果、原因特定までの時間は従来の10分の1程度にまで短縮している感覚です」

異機種混在な状態でシステムを構成しているNTTスマートコネクトにとって、さまざまなログに対応し機能の網羅性に優れたSplunkは、膨大なデータをサービス品質の向上に結び付けられる可能性を持つ存在だと井上氏は評価する。

一方、壷井氏は、「スキルのあるエンジニアが属人化した状態で持っていた分析のノウハウを、今後はSplunkにテンプレート化して大量に登録することができるので、作業効率が格段に向上しています」と述べる。テンプレートだけでは物足りなければ、自分なりにGUIを使って詳しい分析も可能だ。エンジニアだけが使うのではなく、現場に近い営業担当者が特に専門的なスキルがなくても分析できるので、別の観点で見ることが楽になっていると井上氏も指摘する。

将来的には、営業部門でもトラブルシューティングとトラフィックレポーティングが可能なように、時間ごとのサービス利用状況のリアルタイムな情報共有が可能なダッシュボードを作り、それを営業担当者が営業ツール的なレポートとして活用することも想定している。

「Splunkは使う側が考えれば考えるほどキャッチアップできることがどんどん増えていく、表現力と融通性の高い稀なツールだと感じています」(壷井氏)

分析対象を明確にすることがSplunkの活用範囲を拡大する鍵

障害発生後の迅速な対応に一応の目処がついたことで、NTTスマートコネクトでは今後、インシデント事例を蓄積することで傾向分析に役立て、障害やボトルネックの予兆検知にまで拡大することも視野に入れている。井上氏は、「トラブルが発生する前に、過去のアノマリー(例外事象)と同様のログを拾ったことを検出できれば予知が可能になります」と期待する。

また、ストリーミングパケットをリアルタイムにキャプチャする「Splunk App for Stream」を活用することで、トランザクション応答時間の追跡やネットワークパフォーマンスデータの収集など、サービスレベルの監視にも役立てたいと考えている。

そして、今回のプロジェクトを振り返り、データ分析プラットフォームとしてのSplunkの可能性と、それをサポートするマクニカの技術力の両方に大変満足しているという井上氏は、「なんでもできるSplunkですが、導入すれば全てが可視化できるわけではなく、利用者側が何を分析するのかを明確に考えることが重要です。そうすれば活用範囲は無限大に広がっていくと思います」とアドバイスした。

マクニカも、日本を代表するSplunkパートナーとしての矜持を持って、NTTスマートコネクトのストリーミング事業を全力で支援していく覚悟だ。

User Profile

エヌ・ティ・ティ・スマートコネクト株式会社
URL

http://www.nttsmc.com/

NTT西日本グループにおける戦略的アンテナ企業として2000年に創業。堅牢なファシリティと複数のIX拠点とギガビットクラスで直結する高速バックボーンを備えた西日本最大級のデータセンターを運用し、多くの主要ISPとダイレクトにピアリングすることで、ハウジング、ホスティング、ストリーミング、クラウドなどのインターネット・プラットフォームを中核とした複合的なサービスを、NTTグループならではのサポート力で幅広く提供している。

お問い合わせ・資料請求

株式会社マクニカ  Splunk 担当

平日 9:00~17:00