ビッグデータのビジュアル洞察Davinciのインストールと構成の攻略
6755 ワード
Davinciは、パブリッククラウド/プライベートクラウドとして独立して使用することも、ビジュアル化プラグインとしてサードパーティシステムに統合することもできます.ユーザーは、ビジュアル化UI上で簡単に構成するだけで、さまざまなデータビジュアル化アプリケーションにサービスを提供し、高度なインタラクティブ/業界分析/モード探索/ソーシャルインテリジェントなどのビジュアル化機能をサポートします.
一、環境準備 JDK 1.8(またはそれ以上のバージョン) MySql5.5(またはそれ以上) Mail Server PhantomJs(インストール参照:phantomjs.org) Redis(オプション) 二、配置を配置する
1)ディレクトリを初期化し、ダウンロードしたDavinciパケット(Releaseパケット、Sourceパケットではない)をあるシステムディレクトリに解凍する.例えば:~/app/davinci
解凍後のディレクトリ構造を下図に示します.
[外部チェーンピクチャの転送に失敗しました(img-jFDEZ 350-15464464833238)](https://edp963.github.io/davinci/img/dir.png)]
2)環境変数を構成し、上記解凍したディレクトリを環境変数DAVINCI 3_に配置するHOME
3)データベースを初期化しbinディレクトリの下のinitdbを修正する.shにおけるデータベース情報は、davinci 0のような初期化されるデータベースである.3
スクリプトを実行してデータベースを初期化します(注意:Davinci 0.3システム・データベースにはストレージ・プロシージャが含まれているため、データベースの作成時に必ず実行権限を付与してください).**
4)初期化構成,Davinci 0.3の構成は主にserver、datasource、mail、phantomjs、cacheなどの構成を含む.
configディレクトリに入り、アプリケーションを作成します.yml.exampleの名前をアプリケーションに変更します.yml後に構成を開始します.
注意:0.3バージョンではymalをアプリケーションプロファイル形式として使用しているため、各コンフィギュレーション・アイテム・キーの後のコロンと値の間に少なくとも1つのスペースがあることを確認してください.
サーバ構成
サーバの構成は、上記の例に示すように、サーバ.access.addressとserver.access.portは実際のアクセスアドレスとポートを表し、デフォルトはオンではなく、その値はserverである.addressとserver.port.
仮想ホストにDavinciを配備し、起動ポートが8080で、そのホストのIPアドレスが192.168.1.1である場合、仮想ホストの8080ポートを80ポートにマッピングするには、access構成項目を開く必要があります.そうしないと、Davinciの一部の機能を正常に使用できません.例えば、アカウント番号のアクティブ化、ダウンロード、共有などです.
Datasource構成
ここでdatasource構成とは、Davinciシステムのデータソースを指し、以下のように構成されています.
前のステップで初期化したデータベース・アドレスをurlに構成します.urlのパラメータは変更せずに、正しいデータベース・アクセス・ユーザーとパスワード、すなわちusernameとpasswordを変更します.
Initial-size、min-idle、max-wait、max-activeは接続プールパラメータです.具体的なプロパティはDruidDataSource構成プロパティリストを参照してください.
mail構成
注意:0.3バージョンのユーザーは登録アクティブ化でメンテナンスされているため、mail構成はこのバージョンで不可欠であり、mail構成のエラー率が高いため、注意してください.
mailの配置は复雑ではありませんて、以上は完全なmailの配置で、usernameはメールアドレスで、passwordメールボックスのサービスのパスワード、注意しなければならないのはよくある无料のメールボックス(例えば163メールボックス、QQメールボックス、gmailなど)ここはクライアントの独立したパスワードを記入しなければならなくて、対応するメールボックスのアカウントの设定のページに行ってSMTPサービスを开くことができますクライアント認証コード(または独立したパスワード、各メールボックスプロバイダの呼び方が異なる)を申請します.
次の表は、一般的な無料メールボックスSMTPサービスアドレスとポートです.
[外部リンク画像の転送失敗(img-5 nE 2 cnGr-15464464833241)](https://edp963.github.io/davinci/img/server.png)]
phantomjs構成
phantomjsは、レポートのスクリーンショットをタイミングよく送信するために使用されます.インストールされたphantomjs実行可能ファイルアドレスを構成するだけでいいです.たとえば、次のようにします.
Cache構成(オプション)
Cacheここではredisをキャッシュサービスとして使用し、以下のように構成されています.
Cacheサービスを開始する場合は、isEnablelをtrueに設定し、関連する構成を設定します(スタンドアロン方式ではhostとportを開き、クラスタ方式ではcluster構成項目を開き、どちらかしか選択できません).
その他の構成
ログプロファイルはconfig/logback.xmlは、現在のログ構成があなたの要求を満たすことができない場合は、構成ログモードをカスタマイズできます.
三、データソースの配置
Davinci0.3理論的にはJDBCのあるすべてのデータソースをサポートしています.デフォルトでサポートされているデータソースは次のとおりです.
データソース名
ドライバクラス
mysql
com.mysql.jdbc.Driver
oracle
oracle.jdbc.driver.OracleDriver
sqlserver
com.microsoft.sqlserver.jdbc.SQLServerDriver
h2
org.h2.Driver
phoenix
org.apache.phoenix.jdbc.PhoenixDriver
mongodb
mongodb.jdbc.MongoDriver
elasticSearch – presto
com.facebook.presto.jdbc.PrestoDriver
moonbox
moonbox.jdbc.MbDriver
cassandra
com.github.adejanovski.cassandra.jdbc.CassandraDriver
clickhouse
ru.yandex.clickhouse.ClickHouseDriver
kylin
org.apache.kylin.jdbc.Driver
vertica
com.vertica.jdbc.Driver
hana
com.sap.db.jdbc.Driver
impala
com.cloudera.impala.jdbc41.Driver
注意すべきは、Davinciの内部にはMySqlのドライバパッケージしか提供されていません.つまり、他のデータソースを使用する場合は、対応するドライバjarパッケージをlibディレクトリに手動でコピーし、Davinciサービスを再起動する必要があります.Davinci接続ElasticSearchは現在NLPchinaが提供するelasticsearch-sqlを使用しており、システム内部のデフォルトのElasticSearchバージョンは5.3.2であり、対応するelasticsearch-sqlバージョンは5.3.2.0である.
同様に、ElasticSearchが5.3.2でない場合は、まずNLPchinaが提供する対応バージョンのjarを手動でダウンロードし、elasticsearch-xxxを含む現在のlibのjarを置き換える必要があります.jar、transport-xxx.jar、x-pack-api-xxx.jar、 x-pack-transport-xxx.jar、elasticsearch-sql-XXX.JAr(xxxはあなたのElasticSearchバージョン番号、XXXはNLPchina対応elasticsearch-sqlバージョン番号を表します).
また、データ・ソースが上記のリストにない場合は、カスタム構成でデータ・ソースを注入することもできます.そうしないと、何をしているか分からない限り、開く必要はありません.
1)カスタムデータソースプロファイルを開く
2)postgresqlを例に、次のようにデータソースを構成します.
に注意 keyword_prefixとkeyword_suffixはキーワード接頭辞と接尾辞を表し、mysqlデータベースを使用してdescキーワードをフィールドとして使用すると仮定すると、クエリー文はselect alias_prefixとalias_suffixは別名の前接尾辞を表し、mysqlを例に挙げます.あなたのsql文は次のように仮定します.select column as'列'from tableです.ここで「column」に別名「列」を付けると、「」は接尾辞として構成され、前接尾辞はペアで構成されなければならず、すべて空であってもよい. 上記のエイリアス構成では、''を使用して文字をパッケージ化したり、トランスファ記号を使用したりすることができます.両方は1つしか表示されません.
3)対応するドライバjarパッケージをlibディレクトリに手動でコピーします.
4)Davinciサービスを再起動する.
オープンソースアドレス:https://github.com/edp963/davinci
参考ドキュメント-Davinciユーザーズマニュアル:https://edp963.github.io/davinci/
一、環境準備
1)ディレクトリを初期化し、ダウンロードしたDavinciパケット(Releaseパケット、Sourceパケットではない)をあるシステムディレクトリに解凍する.例えば:~/app/davinci
cd ~/app/davinci
unzip davinci-assembly_3.0.1-0.3.0-SNAPSHOT-dist.zip
解凍後のディレクトリ構造を下図に示します.
[外部チェーンピクチャの転送に失敗しました(img-jFDEZ 350-15464464833238)](https://edp963.github.io/davinci/img/dir.png)]
2)環境変数を構成し、上記解凍したディレクトリを環境変数DAVINCI 3_に配置するHOME
export DAVINCI3_HOME=~/app/davinci/davinci-assembly_3.0.1-0.3.0-SNAPSHOT-dist
3)データベースを初期化しbinディレクトリの下のinitdbを修正する.shにおけるデータベース情報は、davinci 0のような初期化されるデータベースである.3
mysql -P 3306 -h localhost -u root -proot davinci0.3 < $DAVINCI3_HOME/bin/davinci.sql
スクリプトを実行してデータベースを初期化します(注意:Davinci 0.3システム・データベースにはストレージ・プロシージャが含まれているため、データベースの作成時に必ず実行権限を付与してください).**
sh bin/initdb.sh
4)初期化構成,Davinci 0.3の構成は主にserver、datasource、mail、phantomjs、cacheなどの構成を含む.
configディレクトリに入り、アプリケーションを作成します.yml.exampleの名前をアプリケーションに変更します.yml後に構成を開始します.
cd config
mv application.yml.example application.yml
注意:0.3バージョンではymalをアプリケーションプロファイル形式として使用しているため、各コンフィギュレーション・アイテム・キーの後のコロンと値の間に少なくとも1つのスペースがあることを確認してください.
サーバ構成
server:
protocol: http
address: 127.0.0.1
port: 8080
access:
address: 192.168.1.1
port: 80
サーバの構成は、上記の例に示すように、サーバ.access.addressとserver.access.portは実際のアクセスアドレスとポートを表し、デフォルトはオンではなく、その値はserverである.addressとserver.port.
仮想ホストにDavinciを配備し、起動ポートが8080で、そのホストのIPアドレスが192.168.1.1である場合、仮想ホストの8080ポートを80ポートにマッピングするには、access構成項目を開く必要があります.そうしないと、Davinciの一部の機能を正常に使用できません.例えば、アカウント番号のアクティブ化、ダウンロード、共有などです.
Datasource構成
ここでdatasource構成とは、Davinciシステムのデータソースを指し、以下のように構成されています.
spring:
datasource:
url: jdbc:mysql://localhost:3306/davinci0.3?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true
username: root
password: root
driver-class-name: com.mysql.jdbc.Driver
initial-size: 2
min-idle: 1
max-wait: 60000
max-active: 10
前のステップで初期化したデータベース・アドレスをurlに構成します.urlのパラメータは変更せずに、正しいデータベース・アクセス・ユーザーとパスワード、すなわちusernameとpasswordを変更します.
Initial-size、min-idle、max-wait、max-activeは接続プールパラメータです.具体的なプロパティはDruidDataSource構成プロパティリストを参照してください.
mail構成
注意:0.3バージョンのユーザーは登録アクティブ化でメンテナンスされているため、mail構成はこのバージョンで不可欠であり、mail構成のエラー率が高いため、注意してください.
spring:
mail:
host: smtp.****.com
port: 25
username: example@***.com
password: example_password
nickname: Davinci
properties:
smtp:
starttls:
enable: true
required: true
auth: true
mail:
smtp:
ssl:
enable: false
mailの配置は复雑ではありませんて、以上は完全なmailの配置で、usernameはメールアドレスで、passwordメールボックスのサービスのパスワード、注意しなければならないのはよくある无料のメールボックス(例えば163メールボックス、QQメールボックス、gmailなど)ここはクライアントの独立したパスワードを記入しなければならなくて、対応するメールボックスのアカウントの设定のページに行ってSMTPサービスを开くことができますクライアント認証コード(または独立したパスワード、各メールボックスプロバイダの呼び方が異なる)を申請します.
次の表は、一般的な無料メールボックスSMTPサービスアドレスとポートです.
[外部リンク画像の転送失敗(img-5 nE 2 cnGr-15464464833241)](https://edp963.github.io/davinci/img/server.png)]
phantomjs構成
phantomjsは、レポートのスクリーンショットをタイミングよく送信するために使用されます.インストールされたphantomjs実行可能ファイルアドレスを構成するだけでいいです.たとえば、次のようにします.
phantomjs_home: /usr/local/bin/phantomjs
Cache構成(オプション)
Cacheここではredisをキャッシュサービスとして使用し、以下のように構成されています.
spring:
redis:
isEnable: false
host: 10.143.131.119
port: 6379
# cluster:
# nodes:
password:
database: 0
timeout: 1000
jedis:
pool:
max-active: 8
max-wait: 1
max-idle: 8
min-idle: 0
Cacheサービスを開始する場合は、isEnablelをtrueに設定し、関連する構成を設定します(スタンドアロン方式ではhostとportを開き、クラスタ方式ではcluster構成項目を開き、どちらかしか選択できません).
その他の構成
ログプロファイルはconfig/logback.xmlは、現在のログ構成があなたの要求を満たすことができない場合は、構成ログモードをカスタマイズできます.
三、データソースの配置
Davinci0.3理論的にはJDBCのあるすべてのデータソースをサポートしています.デフォルトでサポートされているデータソースは次のとおりです.
データソース名
ドライバクラス
mysql
com.mysql.jdbc.Driver
oracle
oracle.jdbc.driver.OracleDriver
sqlserver
com.microsoft.sqlserver.jdbc.SQLServerDriver
h2
org.h2.Driver
phoenix
org.apache.phoenix.jdbc.PhoenixDriver
mongodb
mongodb.jdbc.MongoDriver
elasticSearch – presto
com.facebook.presto.jdbc.PrestoDriver
moonbox
moonbox.jdbc.MbDriver
cassandra
com.github.adejanovski.cassandra.jdbc.CassandraDriver
clickhouse
ru.yandex.clickhouse.ClickHouseDriver
kylin
org.apache.kylin.jdbc.Driver
vertica
com.vertica.jdbc.Driver
hana
com.sap.db.jdbc.Driver
impala
com.cloudera.impala.jdbc41.Driver
注意すべきは、Davinciの内部にはMySqlのドライバパッケージしか提供されていません.つまり、他のデータソースを使用する場合は、対応するドライバjarパッケージをlibディレクトリに手動でコピーし、Davinciサービスを再起動する必要があります.Davinci接続ElasticSearchは現在NLPchinaが提供するelasticsearch-sqlを使用しており、システム内部のデフォルトのElasticSearchバージョンは5.3.2であり、対応するelasticsearch-sqlバージョンは5.3.2.0である.
同様に、ElasticSearchが5.3.2でない場合は、まずNLPchinaが提供する対応バージョンのjarを手動でダウンロードし、elasticsearch-xxxを含む現在のlibのjarを置き換える必要があります.jar、transport-xxx.jar、x-pack-api-xxx.jar、 x-pack-transport-xxx.jar、elasticsearch-sql-XXX.JAr(xxxはあなたのElasticSearchバージョン番号、XXXはNLPchina対応elasticsearch-sqlバージョン番号を表します).
また、データ・ソースが上記のリストにない場合は、カスタム構成でデータ・ソースを注入することもできます.そうしないと、何をしているか分からない限り、開く必要はありません.
1)カスタムデータソースプロファイルを開く
mv datasource_driver.yml.example datasource_driver.yml
2)postgresqlを例に、次のようにデータソースを構成します.
postgresql:
name: postgresql
desc: postgresql
driver: org.postgresql.Driver
keyword_prefix:
keyword_suffix:
alias_prefix: \"
alias_suffix: \"
に注意
desc from tableの「`」が前接尾辞であり、ペアで構成され、空にすることができます.3)対応するドライバjarパッケージをlibディレクトリに手動でコピーします.
4)Davinciサービスを再起動する.
オープンソースアドレス:https://github.com/edp963/davinci
参考ドキュメント-Davinciユーザーズマニュアル:https://edp963.github.io/davinci/