データ分析基盤エンジニアとは、データ分析のためのプラットフォーム、あるいはツール、サーバなどを専門にするエンジニアのことです。
データサイエンティストが分析を専門とし、統計学的な知見をもとに業務を行うのとは異なり、データそのものの性質や「入れ物」となる基盤について高度な知見を持ったエンジニアのことを指します。
データサイエンティストと混同されやすいのですが、両者の違いを踏まえてデータ分析基盤エンジニアの仕事内容や、要求されるスキルについてご紹介します。
データ分析基盤エンジニアとは？
データ分析基盤エンジニアは、データサイエンティストと具体的にどのように違うのでしょうか。簡単にまとめてみました。
データ分析基盤エンジニアの意味
データ分析基盤エンジニアは、ビッグデータの専門家であるエンジニアのことです。
大量の業務データをどのように整理し、分析するのかなど、専門的なソリューションを提供できるエンジニアです。
ビッグデータは大量であり、人が判断・分析できるように提供するには、取得・収集に技術が必要です。また、DBなどにどのように保管するかも、整理の視点を持って行わなければなりません。各アプリケーションの違いや、サーバ、ネットワークの技術的な知識を頭に入れておき、基盤を整備します。
そして、データ分析基盤エンジニアは、データそのものについても知見を持っているので、人が見える形にして処理可能なデータにするまで、整理・加工を行います。
データ分析基盤エンジニア以外にも、基盤エンジニアなど様々な呼び方があります。ただし、技術的な要素として、アプリケーションのほか、DB、ネットワーク、インフラあるいはクラウドなどに強いエンジニアが、データ分析基盤エンジニアとして活躍するケースが多いようです。
データサイエンティストと何が違う？
データサイエンティストは、データ分析基盤エンジニアと違い、分析を専門にしています。サーバやネットワークについての技術的な知見がなくても、データを利用するために必要な統計学や、アプリケーションの利用の仕方、最適な利用方法について十分な知見があれば業務遂行が可能です。
両者は混同されがちですが、データサイエンティストが分析を行うための基盤を整えるのがデータ分析基盤エンジニア、と考えると、データとの関わり方や役割の違いが理解できると思います。
データ分析基盤エンジニアの仕事内容
次に、データ分析基盤エンジニアの仕事内容を詳しくご紹介します。
データ整理
データ分析基盤エンジニアの仕事は、直接データにかかわる業務と、入れ物である分析基盤の整備と、大きく分けると2つに分かれます。前者にデータ整理の仕事があります。
ビッグデータをどのように取得・保管、あるいは集約して管理するかを大まかに検討して整理するのは、データ分析基盤エンジニアの仕事です。アプリケーションからの抽出方法の検討や、サーバないしストレージの保管容量の限界に合わせた整理などを行います。
データ加工
データの網羅性を高めて質を上げるためにデータを加工することも、データ分析基盤エンジニアの仕事です。
ローデータをあえて使う業務にはローデータを破壊せずに保存し、散逸を防げるように分類・保管する、すぐに分析に使える形に加工しておくなど、データ加工の内容は範囲が広いです。
また、加工前にデータの不備を発見しておくこと、その改善の方策をすでにノウハウとして有していることが求められます。大量のデータを一貫したロジックで加工し、不備を防ぐようにするには、非常に高度な技術力が必要です。
分析基盤の設計と構築
分析基盤の設計と構築も、データ分析基盤エンジニアの仕事です。データ分析基盤エンジニアの中でも、こちらをメインに仕事をする人と、データのロジックを検討し、加工することをメインに業務をする人に分かれることもあり、この業務にも高度な専門的知見が必要です。
ソリューションで基盤の全体設計・構築を行うのに加え、足りないツールはアプリケーションを開発するなどして補い、ユーザが運用しやすい基盤を実現する仕事でもあります。
構築後の保守と運用
さらに、基盤構築後は、保守や運用まで行います。必要な監視ツールを選定・導入したり、既存の監視ツールを活用したりして、基盤が正常に動作しているか、全体を監視します。
また、基盤に生じたバグの修正などのトラブルシューティング、設計の改良による処理の高速化、ストレージや回線の増設、データの吸い上げに必要な通信回線の帯域確保に至るまで、データ活用に最適な分析基盤として維持、あるいは改良するための実務をこなしています。
データ分析基盤エンジニアに必要なスキル
仕事内容を踏まえたうえで、データ分析基盤エンジニアに要求されるスキルとはどういうものがあるのでしょうか。これからデータ分析基盤エンジニアになりたい人は、特に押さえておくべき要所です。
【スキルその①】データベースの知識
データの保存・分類にはデータベースを扱うため、データベースに関する知識は、データ分析基盤エンジニアのスキルとして必要不可欠です。例えば、「一定のデータフォーマットで定義する」「SQL系のデータベース」「SQL言語に関する知識」「RDB（リレーショナルデータベース）全体の知識」を要します。
これらのデータベースは、相関関係をデータフォーマットで定義しないので、再定義が必要になるなど、さらに高度な知識と相当な時間の独学が必要な場合があります。
【スキルその②】プログラミングスキル
データ分析基盤エンジニアは、プログラミングの知識が必須です。データ分析に使うデータを整理・加工するうえでどのような処理を行ったのか、言語を用いて理解することが必要になるためです。
Python、Java、Scalaなどは必須の言語です。また、保守ツール開発等においては、Ruby on Railも多用されつつあるので、言語についての深い理解と知識は必須とされます。
【スキルその③】インフラスキル
インフラスキルも必須のスキルと考えられます。それは、基盤の構築に、サーバの構築から運用までのスキルが要求されると同時に、IoTデバイスを介したセンサーが取得するデータの保存・整理・分類方法などにもインフラ知識が密接にかかわっているためです。
通信とサーバ、双方の知識を要しているデータ分析基盤エンジニアには、CISCOマスターや、VM Wareなどのサーバ系の検定資格を多く取得している方がいます。さらにAWSやGoogleなどのクラウドサービスからデータを吸い上げる必要性から、インフラ系の応用分野のクラウドにも強いエンジニアが活躍しています。
企業側でデータ分析基盤エンジニアが欲しい場合
こうしたデータ分析基盤エンジニアを企業で確保したい場合には、次のような方法をとることができます。
適切な人材の採用
まず、求人を出すことが方法として挙げられます。先ほどご紹介した技術にはそれぞれ資格があるので、スキルの指標として使うと、データ分析基盤エンジニアとして適切な人を採用することができます。
ただし、データ分析基盤エンジニアは「データ分析基盤エンジニア資格」「データ分析基盤エンジニア養成機関」があるわけではないので、適格者であっても即戦力になるとは限りません。業務で戦力化するためには、教育研修も時に必要になり、育成に時間がかかることがあります。また、希望者がいても社風に合わないなど、人材採用上の悩みがつきものとなってしまいます。
システムを導入する
人材の採用が難しい場合は、データ分析基盤エンジニアの仕事を肩代わりしてくれるシステムを導入することにより、解決することができます。
システムは進歩発展のスピードが非常に速いため、現在では、基盤を丸ごと導入することにより、データの取得や整理分類がスムーズに進められるようになっています。しかも、クラウドサービスを導入すると、ベンダー側で常に最新・最適化が図られるため、セキュリティにも配慮できます。
例えば、Oracle Cloudを導入すると、クラウドベースなので保守や運用はプロが提供し、インフラに関する悩みも解決してくれます。
中小企業であるため人材採用で優位性を発揮することが難しい、あるいは人手不足に陥っていて、新しくデータ活用の施策がとれないというお悩みにも、データ活用基盤としてOracle Cloudを導入することで対応可能です。人材採用・育成のコストがかからず、性能面、コスト面でトータルバランスのよいOracle Cloudの導入で課題を解決しましょう。
データ基盤構築のポイントは？構築の流れや方法を紹介
データ基盤は、ビッグデータを一元管理し、分析するために必要です。データ処理を行うシステムであるデータ基盤は、「データレイク」「データウェアハウス」「データマート」をメインとした構成からなり、順に構築することでデータ活用を始めることができます。それぞれ似たような概念ですが、異なる機能を持っています。
ここではそれぞれの意味や機能、構築方法をご紹介します。今後、データ基盤やデータ活用の導入を進める方の参考になれば幸いです。
まとめ
データ分析基盤エンジニアは、データ活用の根幹を支え、プログラミングやインフラなどの高度なスキルを有するエンジニアです。今後の企業にとって重要な人材ですが、データ分析基盤エンジニアをすぐに採用・育成できない場合は、Oracle Cloudなどのシステムの導入で課題を解決することも1つの方法として検討しましょう。
