MaxComputeは、Apache Zeppelinでデータの可視化を迅速に実現するシリーズ(1)をプレイできるようになった
注:MaxCompute原名ODPSは、阿里雲自研のビッグデータコンピューティングプラットフォームであり、文中に現れたMaxComputeとODPSは同じプラットフォームを指し、区別しない
Zeppelinは、Webベースのnotebookツールで、プラグインでさまざまな解釈器(interpreter)にアクセスすることをサポートし、ユーザーが特定の言語またはデータ処理バックエンドでインタラクティブなクエリーを完了し、データの可視化を迅速に実現することができます.
まず、導入したサーバにOracle JDK 1.7をインストールし、対応するJAVAを構成する必要があります.HOME環境変数については、ここでは説明しません.
次に、Zeppelinを取得する必要があります.公式サイトの最新のリリースパッケージをダウンロードすることをお勧めします.
ダウンロードしてサーバー上のディレクトリに解凍します.たとえば、筆者がローカルディレクトリに解凍した場合:/Users/emerson/develop_tools/zeppelin-0.6.1-bin-all、このディレクトリはzeppelinのルートディレクトリです.ルートディレクトリの下で実行:
これはzeppelinの導入に成功したことを示しています.
ブラウザでzeppelinのホームページにアクセスすると、筆者はホストに配置され、zeppelinはデフォルトで8080ポートで起動するので、アクセス先は次のとおりです.http://127.0.0.1:8080/を選択すると、次のようなページが表示されます.デフォルトでは、zeppelinに匿名でアクセスしています.
次に、MaxCompute JDBCのInterpreterを作成します.
まず、完全な依存性を持つMaxCompute JDBCのjarパッケージをダウンロードする必要があります.ここから最新の安定版:odps-jdbc-1.9-jar-with-dependenciesを入手してください.jar.
次にzeppelinページに戻り、右上の「anonymous」をマウスでクリックし、ポップアップしたドロップダウンリストから「Interpreter」を選択します.
次のページに進み、右上の「+Create」ボタンをクリックします.
次に、次の図のように解釈器の新しいページに入ります.
Interpreterの名前とグループを入力します.それぞれ「odps」と「jdbc」です.
次に、構成を増減して変更します.
ここでdefault.使用者とdefault.passwordはそれぞれあなたがMaxComputeに対応するaccessIDとaccessKeyです.だがurlは対応するMaxCompute JDBCのURLで、その中のproject名を置き換えることに注意してください.ここで筆者はodpsdemoを使用しています.
Dependenciesのartifactは、以前にダウンロードしたodps-jdbc-1.9-jar-with-dependenciesを記入します.jarのローカルパス.
構成が完了したらodpsというInterpreterを保存して再起動します.
これでnotebookを新規作成してInterpreterをテストできます.
上の「Notebook」ボタンをマウスでクリックし、下の図のように「+Create new note」を選択します.
新しいnoteに「odps_jdbc」という名前を付けて、次の図に示します.
新しいnoteページで右上の「ギア」ボタンをクリックし、noteと新しいInterpreterのバインドを完了します.次の図に示します.
「odps」という名前のInterpreterを選択して上部にドラッグし、デフォルトのInterpreterとして使用します.
保存後、noteにMaxCompute SQLの構文に合致するSQLを入力し、実行ボタンをクリックしてデータ照会を完了します.
Zeppelinは非常に豊富で簡単な可視化機能を提供しており、下図のような可視化オプションをクリックすると、簡単なsetting構成を完了し、異なる種類の可視化グラフを見ることができます.
テキストリンク:http://click.aliyun.com/m/14012/
Zeppelinの概要
Zeppelinは、Webベースのnotebookツールで、プラグインでさまざまな解釈器(interpreter)にアクセスすることをサポートし、ユーザーが特定の言語またはデータ処理バックエンドでインタラクティブなクエリーを完了し、データの可視化を迅速に実現することができます.
Zeppelinの配備
まず、導入したサーバにOracle JDK 1.7をインストールし、対応するJAVAを構成する必要があります.HOME環境変数については、ここでは説明しません.
次に、Zeppelinを取得する必要があります.公式サイトの最新のリリースパッケージをダウンロードすることをお勧めします.
ダウンロードしてサーバー上のディレクトリに解凍します.たとえば、筆者がローカルディレクトリに解凍した場合:/Users/emerson/develop_tools/zeppelin-0.6.1-bin-all、このディレクトリはzeppelinのルートディレクトリです.ルートディレクトリの下で実行:
% bin/zeppelin-daemon.sh startZeppelin start [ OK ]これはzeppelinの導入に成功したことを示しています.
ブラウザでzeppelinのホームページにアクセスすると、筆者はホストに配置され、zeppelinはデフォルトで8080ポートで起動するので、アクセス先は次のとおりです.http://127.0.0.1:8080/を選択すると、次のようなページが表示されます.デフォルトでは、zeppelinに匿名でアクセスしています.
新しいInterpreterの設定
次に、MaxCompute JDBCのInterpreterを作成します.
まず、完全な依存性を持つMaxCompute JDBCのjarパッケージをダウンロードする必要があります.ここから最新の安定版:odps-jdbc-1.9-jar-with-dependenciesを入手してください.jar.
次にzeppelinページに戻り、右上の「anonymous」をマウスでクリックし、ポップアップしたドロップダウンリストから「Interpreter」を選択します.
次のページに進み、右上の「+Create」ボタンをクリックします.
次に、次の図のように解釈器の新しいページに入ります.
Interpreterの名前とグループを入力します.それぞれ「odps」と「jdbc」です.
次に、構成を増減して変更します.
ここでdefault.使用者とdefault.passwordはそれぞれあなたがMaxComputeに対応するaccessIDとaccessKeyです.だがurlは対応するMaxCompute JDBCのURLで、その中のproject名を置き換えることに注意してください.ここで筆者はodpsdemoを使用しています.
Dependenciesのartifactは、以前にダウンロードしたodps-jdbc-1.9-jar-with-dependenciesを記入します.jarのローカルパス.
構成が完了したらodpsというInterpreterを保存して再起動します.
新規notebook
これでnotebookを新規作成してInterpreterをテストできます.
上の「Notebook」ボタンをマウスでクリックし、下の図のように「+Create new note」を選択します.
新しいnoteに「odps_jdbc」という名前を付けて、次の図に示します.
新しいnoteページで右上の「ギア」ボタンをクリックし、noteと新しいInterpreterのバインドを完了します.次の図に示します.
「odps」という名前のInterpreterを選択して上部にドラッグし、デフォルトのInterpreterとして使用します.
保存後、noteにMaxCompute SQLの構文に合致するSQLを入力し、実行ボタンをクリックしてデータ照会を完了します.
データの可視化
Zeppelinは非常に豊富で簡単な可視化機能を提供しており、下図のような可視化オプションをクリックすると、簡単なsetting構成を完了し、異なる種類の可視化グラフを見ることができます.
テキストリンク:http://click.aliyun.com/m/14012/