はじめに

　近年、国際的なデジタルデータの量は飛躍的に増大しており、今後もさらなる増加傾向にあります（図1）。そんな中、オンプレミス環境やクラウド環境で発生する様々なデータは、システム運用視点だけでなくビジネス利活用視点でも注目されており、企業内で分析を行うデータアナリスト・サイエンティストにとって大規模データというのは身近なものになりつつあります。

　データ量の増加とともに問題となるのが定期的なバッチ処理やデータ分析時に発生するデータ処理時間です。
　データ量が小さいうちはあまり問題になりませんが、データ量が増えると処理時間が大幅に増加するため、大規模なデータをいかに現実的な時間で処理し、業務を成立させるかが重要になってきます。そういった場面で力を発揮していたのがApache Hadoop（以後、Hadoop）と呼ばれる分散処理フレームワークです。
　このHadoopは複数台のサーバーを利用することで処理時間を短縮することが可能で、特にバッチ処理の高速化に大きな効果を発揮してきました。しかしHadoopを利用して実際にシステムを構築・運用すると、その「複雑さ」や「リアルタイム処理の遅さ」によって、運用面で負担がかかることが見えてきました。

　本記事ではHadoopのメリットとデメリットを押さえつつ、その進化系である現代版データウェアハウス（以後、DWH）についてご紹介します。

 　※本記事ではHadoopやリレーショナルデータベース（以後、RDB）について扱っていますが、決してHadoopやリレーショナルデータベースなど従来の方法を否定するわけではありません。特性をきちんと理解し、それぞれの技術を適材適所で利用することの必要性をご紹介できればと思います。

目次

• Hadoopとは？RDBとの違いから見るメリット・デメリット
• Hadoopの代替案「現代版DWH『データブリックス』」とは？
• Hadoopと現代版DWH『データブリックス』の比較
• まとめ

1．Hadoopとは？ RDBとの違いから見るメリット・デメリット

　そもそもHadoopとはどのようなメリット・デメリットがあるのでしょうか。
　この章では広い分野で利用されているRDBと比較しながらHadoopのメリット・デメリットを見ていきたいと思います。

② Hadoopのデメリット

次にHadoopのデメリットを挙げてみましょう。

・リアルタイム処理に向かない

Hadoop はそもそも分散処理を実行するためのオーバーヘッドがあるため、RDBでも簡単に処理できるような小さなデータ処理の場合はHadoopで処理する方が圧倒的に時間がかかるケースがあります。
　またディスクに対する頻繁な読み書き処理もあるため、リアルタイム処理を苦手としています。

・データの更新・変更ができない

Hadoopはデータの更新機能を実装せず、入力したデータを整理・変換して、別のデータを出力するという処理モデルに限定しています。
　もっとも、それでは使い勝手が向上しない部分もあるので、徐々に更新処理が可能な仕組みも導入されてきていますが、それでもHadoopは更新が苦手という事実は変わりません。

・データのガバナンス・セキュリティを細かく制御できない

Hadoopはテーブルの行・列レベルの高粒度のセキュリティとガバナンスに対応することが難しいというデメリットがあります。

・複雑で導入時のハードルが高い

Hadoop は低レベルの Java ベースのフレームワークであり、エンドユーザーが作業するには複雑で困難なアーキテクチャになっています。
　Hadoop アーキテクチャには、セットアップ、保守、およびアップグレードに関する重要な専門知識とリソースが必要になる場合もあり、運用における大きなデメリットとなりえます。

・頻繁なディスクI/Oが発生してしまう

　Hadoop は分散ファイルシステムによってディスクI/Oを分散させることには成功しました。
　しかし、ディスクに対する頻繁な読み取りと書き込みが発生することに変わりなく、Apache Spark などの可能な限りメモリ内にデータを格納して処理することを目的とするフレームワークと比較すると、時間がかかり非効率な面があります。

　ここまで述べてきたRDBと比較したHadoopのメリット・デメリットを表にすると以下のようになります（表1）。

2．Hadoopの代替案「現代版DWH『データブリックス』」とは？

　ここまでHadoopがRDBに比べてどのようなメリット・デメリットがあるのかを見てきました。
　この章からは、Hadoopの進化系である「現代版DWH『データブリックス』」について見ていこうと思います。データブリックスは、サンフランシスコに本社を置くDatabricks社が提供するクラウドデータプラットフォームであり、DWHとデータレイクの最良部分を統合することから「レイクハウス」と呼ばれています。

　Hadoopには多くの利点がありますが、処理の各段階間のディスク書き込みに依存するため、リアルタイムのデータ処理では効率的ではありません。そこで登場するのがこのデータブリックスです。

　データブリックスはデータ処理にApache Sparkを利用しています。Apache Sparkは、メモリ内のデータストレージを使用してHadoopのリアルタイム処理の課題を解決した分散型データ処理エンジンです。Hadoopのサブプロジェクトとして開始されましたが、独自のクラスターテクノロジーを使用して、現在では高いシェアを誇ります。
　データブリックスはApache Sparkの優れたデータ処理機能を利用し、それに加えて処理アルゴリズムについては、SQLクエリ、ストリーミング、機械学習、グラフをサポートする独自のライブラリを使用して利便性・運用の容易さを大きく高めています。

3．Hadoopと現代版DWH『データブリックス』の比較

　Hadoopとデータブリックスの比較にあたり、まずはApache Sparkの特徴をご紹介します。
　Apache SparkではHadoop同様に様々なデータタイプを取り扱えます。これはデータの取り込みも通常のファイルアクセスのようにデータ保管場所のファイルデータを読み込み、分析や機械学習を実施してデータをファイルとして保存することで実現しています。ファイル操作なので、データについては特に制約がなく、操作の自由度が非常に高いため様々なデータタイプを利用できるのです。逆を言えば、データに対して何でもできてしまい、データ管理はユーザー側に委ねられることになります。

　実はApache Sparkを運用する上での課題がここにあります。企業などの組織レベル、もしくはエンタープライズ用途でApache Sparkを運用する場合、そのデータの品質の管理が非常に困難になるのです。たとえば、頻繁なデータコピーが発生する、データアクセス権限がファイルやフォルダ単位、データ破損の検知機構がない、派生データから上流のオリジナルデータをたどれず、データが正しいかの正当性判断が難しいなど、実際の運用での課題は多岐にわたることになります。

　Apache Sparkは、自由度やオープン性が高い反面、こうしたデータの品質管理における課題を運用等で補足し構築管理することが求められます。これらを解決したのがデータブリックスです。
　データブリックスはApache Sparkプラットフォーム上に、RDB・DWHの機能を提供する論理レイヤーが上座する構成をとっています（図2）。

　これにより、ユーザーから見るとApache Spark上のデータをRDBの品質・ガバナンス・セキュリティ・パフォーマンスで利用できるプラットフォームとして機能することで、先にあげた課題が解決されます。これらの特徴を、1章で示したHadoopとRDBのメリット・デメリットと比較すると以下のようになります（表2）。

　このようにデータブリックスでは、HadoopとRDBそれぞれのデメリットまでカバーするかたちで、すべての種類のデータ（構造化データおよび非構造化データ）を高信頼、高速に利用でき、一貫のデータガバナンスを適用し、機械学習、SQL分析、BI、ストリーミングなどすべてのユースケースを実現できるのです。

4．まとめ

　本記事ではHadoopがRDBに比べてどのようなメリット・デメリットがあるのか、そしてその課題を解決するデータブリックスとはどのようなものかについて述べてきました。

　Hadoopは分散型のデータ処理エンジンとして大きな功績を残しましたが、運用の複雑さやリアルタイム処理などに課題を持っていました。この課題の一部をApache Sparkは解決しました。現在データアナリスト・データエンジニアが幅広く使用しているApache Sparkは、高速かつ簡潔で機能豊富なAPIを備え、大規模なデータに対する処理がHadoopよりも容易に実現できるようになりましたが、一方で取り扱うデータの豊富さ・柔軟さがデータの品質管理を難しくしてしまう課題にも繋がっていました。

　データブリックスはApache Sparkプラットフォーム上にRDBの機能を提供する論理レイヤーを加えることで、Hadoop・Apache Sparkのメリットを残したまま、RDBのもつデータの品質管理のメリットを合わせもつプラットフォームを構築できるようになりました。これにより、クエリ処理から、ストリーミング処理、深層学習を含む機械学習まで一つのプラットフォームで対応できるようになりました。従来では、異なるソリューションを組み合わせて実装していたことを考えれば、データブリックスを使うことで開発の生産性が圧倒的に高まるでしょう。

　Hadoopからデータブリックスへの移行にご興味のある方は、実際の移行事例も交え 動画で詳しく解説していますので、ぜひご覧ください。

データブリックス詳細・お問い合わせ

お問い合わせはこちら