ゲートウェイ設備でインターネットトラフィックを管理

三菱電機株式会社（以下、三菱電機）は、100年近い歴史の中で制御技術やパワーエレクトロニクスなどの広範囲な技術資産を培いながら、資材調達から生産・品質管理、販売・サービスに至る全ての領域で改善し続ける事業基盤を強化し、確固たる信頼性を高めてきた。現在は電力システム、交通システム、ビルシステム、FAシステム、自動車機器、宇宙システム、パワーデバイス、空調冷熱システムの8分野を成長の牽引役として位置づけ、日本のみならず北米・欧州・中国・アジア他の新興市場までグローバルに事業を展開している。

同社は、マクニカが提供するマシンデータ分析プラットフォーム「SplunkEnterprise」（以下、Splunk）を活用し、社内のメール送受信やWebアクセスなどのログを各種システムから抽出し横断的に検索することを可能にする「ログ検索システム」を構築するとともに、その構築過程でネットワークアプリケーションのトラフィック量を可視化することにも応用できると考え「ネットワークトラフィック見える化システム」の開発にもチャレンジした。この事例では、Splunkが得意とするこれら両分野の実現過程について紹介する。

まず、ログ検索システムが必要になった背景について、両プロジェクトを主導した三菱電機 IT戦略室 システム基盤部 ネットワークシステムグループマネージャーの柳瀬賢治氏は次のように語る。「私たちIT戦略室では、三菱電機インフォメーションネットワーク株式会社（MI ND）の協力を得ながら、全社のインターネットトラフィックをまとめるゲートウェイ設備の管理・運用をしています。従来は、このゲートウェイ設備のログを一切公開していなかったので、メール送受信やWebアクセスに関する各拠点からの問い合わせに関してはIT戦略室とMINDが全て引き受け、調べた上で回答するという運用になっていました。しかし、近年はメール送受信やWebアクセスに関する問い合わせが急増する傾向にあり、対応業務が大きな負担となるほか、集中する時などには回答時間も長くなるなどの課題を抱えていました」

拠点のIT部門にもログ検索機能を公開しIT戦略室の業務負担軽減をめざす

三菱電機の国内拠点は製作所、研究所、技術センター、開発センターなどを含めると約40拠点存在し、さらに三菱電機の情報システムを利用する国内外の関係会社を含めると、その数は100数十拠点／社にも及ぶ。それぞれの拠点と関係会社には個別にIT部門が存在するが、“メールが届かない” 、“Webにアクセスできない”といった問題の原因はゲートウェイ設備のログに記載されているため、IT戦略室とMINDにログの調査依頼が殺到する形となっていた。

柳瀬氏は、「ログの検索には専用の製品を活用しておらず、オープンソースの環境でテキストをアーカイブした状態から独自スクリプトで検索するという運用を行っていましたが、次第にログのサイズも肥大化し、調査要件も複雑になる中で、スクリプトで対応することが困難になっていたのは事実です」と打ち明ける。

また、実際にゲートウェイ設備のログ管理を担う三菱電機 IT戦略室 システム基盤部 ネットワークシステムグループ専任 瀬山稔哉氏は、問い合わせの内容も変わってきたと指摘する。「以前は、何月何日のこのメールが届かないといったピンポイントの問い合わせが多かったのですが、最近は、過去半年間にこの不審サイトにアクセスしていた社員は誰だったのかといった長期間のログを対象とした調査依頼が増えてきました。ログ調査の内容は一様ではなく、調査手順を確立・定義できていなかったため、担当者が変わればその手順も変わり、調査時間もばらつきが生じるため、安定した運用を可能にする何らかの方法が必要でした」

緊急時や海外拠点からの問い合わせは深夜になることもあり、その対応をどうするかも問題だった。

そこでIT戦略室では、各拠点／関係会社のIT部門に対しゲートウェイ設備のログを適切に公開することで、業務負担の軽減とサービスの改善をめざそうと考えた。そのためには、各拠点のログの閲覧可能範囲を拠点の業務範囲内に限定できるような閲覧権限の制御が可能なシステムの導入が不可欠なほか、拠点のIT部門の担当者が興味本位で調べたりすることも防がねばならず、どんな操作をしていたのかをログに残すことも必要だった。

問い合わせ件数は大幅に減少し閲覧権限のガバナンスも確保

瀬山氏はさまざまなログ管理ソフトを調査する中で、2013年6月に開催された「InteropTokyo 2013」でマクニカのブースを訪れた際にSplunkの存在を知ったという。「Splunkはさまざまなログを横断的に検索できる上に、ログの閲覧権限の制御や操作ログの可視化が可能で、選定の条件を満たしていました。また、レスポンスがとても速く、グラフィカルで統一的なインターフェースも印象的でした。初心者向けにも使いやすい画面を提供できる一方で、詳しく調べたい場合は検索コマンドで深掘りできる奥深さにも惹かれました」（瀬山氏）

各拠点／関係会社のIT部門はスキルにも多少の差がある。全員がコマンドを打ってログを検索できるわけではない。スキルがなくても必要な検索が可能なインターフェースを提供できることが条件だった。IT戦略室では、60日間無料の評価版ダウンロードサービスを利用し、使い勝手をさまざまに試してみた結果、Splunkを活用したログ検索システムの構築に動き出すこととなった。

ログ検索システムでは、メールサーバ、プロキシサーバ、ファイアウォールなどのログをSplunkに取り込んで検索対象とした。「1イベント1行で出力されるWebアクセスのログなどは閲覧権限の制御もさほど難しくありませんでしたが、メール送受信のログは1イベント複数行になり、かつ単純にメールアドレスだけでは拠点が特定できないので、ルックアップ（外部ファイルを参照して検索に必要なフィールド値を取り込む機能）の設定とその自動化や、複数行を1イベントにまとめて権限判断する機能、そしてレスポンスチューニングの部分は、『Splunk構築支援サービス』を活用してマクニカに協力いただき作り込みました」と瀬山氏は説明する。

2014年9月にログ検索システムの運用を開始し、各拠点／関係会社のI T部門でも利用が始まった。運用開始後、IT戦略室とMINDへの問い合わせ件数は大幅に減少し、夜間の対応もほぼ解消したという。ログ検索システムは特別なスキルがなくても利用できるので、結果が早く得られるようになったほか、ログの閲覧可能範囲は拠点／関係会社の業務範囲内に限定しているため、閲覧権限のガバナンスはしっかりと確保されている。

瀬山氏は、「以前はゲートウェイ設備の当日ログについてはIT戦略室の担当者でも調査に手間がかかっていたが、ほぼリアルタイムでSplunkに取り込んでおくことで、緊急時のイレギュラーなログ調査依頼にもすぐに対応できるようになりました」と評価する。

ネットワークトラフィックの可視化はSplunkでも実現できると判断

ログ検索システムの稼働後、IT戦略室では別の課題も抱えていた。それがネットワークトラフィックの分析だった。ネットワークトラフィックの状況は、本社や各拠点／関係会社のトラフィック総量は把握できていても、その中のメールトラフィックはどれぐらいか、社内業務システムのトラフィックはどれくらいかなど、内訳を詳細に把握できない状況だった。そのため、例えば社内のあるシステムの利用規模を倍にした場合に、ネットワークに対してどれほどのインパクトがあるのかといった試算が難しかったという。

そこには複数回線サービスの有効利用という目的があったと話す瀬山氏は、「SDN（Software Defined Network）の技術を導入し、現在のトラフィックを高品質で高信頼なネットワークと、中品質でも広帯域のネットワークに優先順位をつけて振り分けることで、効率的なネットワークの実現を模索していたのですが、そのためにはトラフィックの実態が見えないと検討することすら難しく、その基礎データを取るためにもトラフィックの内訳を可視化する必要があったのです。しかし、トラフィック状況を把握するには各拠点のネットワークトラフィックをキャプチャしてから、別途それを専用に調べる必要があり、手間も時間もかかるため、半ば断念していたのです」と打ち明ける。

柳瀬氏も、「社員が普段業務で利用するシステムのトラフィックは優先する必要がありますが、バッチ系で夜間に発生するトラフィックは多少回線品質が落ちても許容できます。回線にメリハリをつけてコストを抑制しつつ、帯域も最大限に有効活用することが目標でした。」と話す。

SDN関連課題を解決するアイデアを見つけるため、瀬山氏は2014年10月にラスベガスで開催された「Splunkワールドワイド・ユーザカンファレンス」（.conf2014）を視察。パートナーブースの中でNetflow Logic社がネットワーク機器のフロー情報を元にトラフィックの詳細を見える化するアイデアをSplunk Appsの形で公開しているのを見て、これは使えると確信し、日本にその情報を持ち帰った。「早速部内で検討したところ、残念ながら元の目的であったSDNによる複数回線サービスの有効活用はそう簡単ではなく、時期尚早であることが分かったのですが、ネットワークトラフィックの可視化はSplunkで実現できると判断し、それをプロジェクト化することになりました」と柳瀬氏は打ち明ける。

また、フロー情報の取り込みにおいて、サンプリング量の最適な落としどころを見つけることが大変だったと瀬山氏はいう。「1/1のフロー情報をルーターから取得すれば完全な情報を収集できますが、それではルーターの負荷が大きくトラフィックも消費するため、1/10か1/100かのサンプリング間隔を慎重にチューニングしていきました」

調査工数の負担が大きく軽減し問題解決までの時間も大幅に短縮

2015年11月に「ネットワークトラフィック見える化システム」の開発が完了。当初は特定の部門で試用してもらいながら細かな部分を調整し、その間ダッシュボードの見直しも行って、2016年4月に全社に向けて公開した。

これまでは、特定システム用に帯域を確保しているのに遅いと海外拠点などから問い合わせがあった場合、確保帯域の上限に達しているのか、システムそのものが遅いのか、原因調査に多くの時間を要していたが、現在は海外拠点からも確保帯域の空き状況を簡単に調べることができるようになった。確保帯域に空きがあるにもかかわらず、使っているシステムが遅い場合はネットワーク側の問題ではなく、システムそのものに問題があることがすぐに分かるようになったという。「過去はIT戦略室が詳細に調べており、時差もあるのでタイムリーに回答できていない場合もあったのですが、現在は拠点のI T部門が自ら調べられるようになったので、数時間以内に問題の原因を把握することができるようになりました。それにより、IT戦略室の調査工数の負担が大きく軽減するとともに、問題解決までの時間も大幅に短縮することも可能になり、IT部門のストレスもかなり軽減されているようです」（柳瀬氏）

また、ネットワークトラフィックの見える化では、「Splunk Add-on for NetFlow」（データ収集時の正規化を行うテンプレート）を活用している。「もし、これがなかったら、オープンソースのソフトを組み合わせて試行錯誤しながらフロー情報のバイナリ情報をテキスト化し、Splunkに投入する必要がありました。SplunkAdd-on for NetFlowがそれを担ってくれたおかげで簡単にSplunkと連携させることができました」と瀬山氏は感想を述べる。

今後、IT戦略室では、ネットワークトラフィック見える化システムの対象範囲を、海外の拠点側回線にも拡大していく予定だという。海外は回線コストが高額なため、見える化・分析・改善により得られる効果は大きい。

今回のプロジェクトを振り返り、瀬山氏は「2つのシステムをSplunkで構築した経験から、その選択は間違っていなかったと確信しています。マクニカは継続的に技術面やサポート面で支援していただき、非常に助かりました。今後も引き続き支援を期待しています」と話す。

そして、柳瀬氏も「Splunkはどんなログでも取り込むことができることが強みですが、その万能さが複雑性を高めている面もあるため、マクニカが具体的な実現手段を提案してくれたのは大きな助けとなりました。プロジェクトはこれで終わりではなく、異なる要件が出てくる可能性もあるため、今後も柔軟な提案を期待しています」と語る。

マクニカはSplunk社の国内ディストリビューターとして、今後も三菱電機のSplunk活用を総力で支援していく考えだ。

User Profile

045-476-2010
月～金 8：45～17：30

お問い合わせ
お気軽にご相談ください

無償セミナー
各種セミナーはこちら

資料ダウンロード
各種資料はこちら