皆様、はじめまして。
データソリューション部 チーム田中の森田と申します。
今回はIaaS部分のOCI……ではなく、Oracle Cloud PaaSとして先行リリースされていたClassicサービスのOracle Big Data Cloud Compute Edition(以下、BDCSCE)について、検証してみました。
本記事はその準備編となります。
BDCSCEとは
BDCSCEとは、Oracle Cloudで利用可能な分散処理環境提供サービスです。これまでOracle Big Data Appliance等のオンプレミス向け製品として提供されてきたHadoop基盤をクラウドで利用できるようになっています。
クラウド提供になったことで、サブスクリプションでの利用が可能で、ビッグデータ処理活用基盤として導入しやすくなることが期待できます。
前提内容
本記事は、Oracle社のWebサイト情報やハンズオン資料などを元にOracle Cloudの環境で実施した内容となります。
クラウド全般的に言える内容ではありますが、クラウド環境は日々改善され、機能追加やセキュリティ強化など様々なアップデートが頻繁に適用されています。
特に今回ご紹介する内容は、Big Data Cloudと呼ばれる最新版がリリース予定であり、今後利用できなくなることが予想されます。その為、本記事の画面と実際の画面が異なる可能性がありますが、ご容赦の程宜しくお願いします。
※本内容は2020年2月に検証した内容となります。
- 本記事は、Oracle Cloudが利用できる状態から開始した内容です。
- 準備作業およびインスタンス作成を行うOICSユーザに下記ロールが付与されていることを前提としています。
BDCSCE_Administrator
BDCSCEの構成
BDCSCEは、Oracle PaaSとして提供されていますが、Big Data Cloud Service(以下、BDCS)とはいくつか異なる点がありますので、まずは以下で簡単に説明します。
近似した2サービスの比較
比較項目/サービス名 | BDCS | BDCSCE |
---|---|---|
形態 | Oracle社が管理 |
フルマネージド |
環境提供 | 専有環境 | 共有環境 |
利用価格 | 高/エンタープライズ向け | 低 |
用途 |
長期間のクラスタ利用/ |
一時的なクラスタ利用/ |
BDCSは高いパフォーマンスと、専有環境で実行できることが強みです。対してBDCSCEは共有環境での実行となり、比較的安価に利用可能です。ビッグデータ処理をスモールスタートしたい場合は、BDCSCEの利用を検討すると良いかも知れません。
BDCSCEの構成
BDCSCEはCompute Editionという名の通り、実体としてはOCI上のComputeインスタンスおよびマウントされたブロックボリュームに予めHadoopクラスタを構成したものとして存在しています。
また、オブジェクトストレージにアクセスさせることで、ブロック・ボリューム以外にアップロードされた非構造データの管理、分析等も可能です。
ノートブック等の分析はWebコンソール上からアクセス可能で、簡単にビッグデータを運用管理できる仕組みになっています。
OCIユーザとAPI接続の準備
BDCSCEインスタンス構築前に、クラウドストレージに接続するために使用するユーザとAPI接続用の鍵を用意していきます。
ステップ1:ユーザ作成
ステップ2:グループ追加
ステップ3:認証鍵作成および登録
ステップ1:ユーザ作成
クラウドストレージ(=オブジェクトストレージ)へのアクセス操作のため、OCIユーザを作成します。
ステップ2:グループ追加
作成したユーザをグループに所属させ、ポリシーを継承させます。「5. オブジェクトストレージのバケット準備」で作成するバケットに対する操作権限が付与されていれば問題ありません。今回はAdministoratorグループに所属させる想定で進めます。
ステップ3:認証鍵作成および登録
認証で使用する公開鍵、秘密鍵のペアを作成し、ステップ1で作成したユーザに公開鍵を登録し、フィンガープリントを生成します。
▼MacOS または LinuxディストリビューションのOSプロンプトで下記実行
ssh-keygen -t rsa
ユーザの作成はこれで完了です。
オブジェクトストレージのバケット準備
BDCSCEインスタンス構築前に、クラウドストレージを用意します。
任意のコンパートメントに新規のバケットを作成します。
以上で事前準備は完了です。
インスタンス作成については、次回の記事でご説明します。(続く)
- カテゴリ:
- エンジニアリング