apache druid(シーケンスデータベース)クラスタ構築
7460 ワード
環境の準備
mysql、zookeeper、hadoop(HDFS)環境jdk 1.8(druidサーバごとにインストールが必要)
druidのサーバリスト
サーバアドレス
サーバーの役割
コメント
10.32.10.240
druid-query
Broker、Router
10.32.10.241
druid-query
Broker、Router
10.32.10.242
druid-master
coordinator、overlord
10.32.10.243
druid-master
coordinator、overlord
10.32.10.244
druid-data
Historical、MiddleManager
10.32.10.245
druid-data
Historical、MiddleManager
druidクラスタの構築を開始
apache-druid-0.18.0-binをダウンロードします.tar.gzをサーバにアップロード(/mnt/druid)
すべてのサーバで操作が必要です
/mnt/druidに入り、tarパッケージを解凍します.
tar -zxvf apache-druid-0.18.0-bin.tar.gz
druidを行うクラスタ構成共通ディレクトリ/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/common
cd apache-druid-0.18.0/conf/druid/cluster/_common/
commonを設定します.runtime.properties
vim common.runtime.properties
修正runtime.propertiesプロファイル
変更が完了したらdruidログディレクトリを作成します
mkdir -p/mnt/druid/apache-druid-0.18.0/var/sv/
次のmysqlパッケージをapache-druid-0.18.0/extensions/mysql-metadata-storageディレクトリに導入
mysql-connector-java-5.1.48.jar、password-connector-java-5.1.48.jar
マスターcoordinator-overlordの構成(242 243ノード同期動作)
プロファイルディレクトリ cd/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/master/coordinator-overlord jvmを行う.config構成
runtime.properties構成
druidのmasterノード/apache-druid-0.18.0/bin/start-cluster-master-no-zk-serverを起動&
DataノードMiddleManager Historicalの構成(244 245ノード同時操作)
MiddleManager構成:プロファイルディレクトリ cd/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/data/middleManager jvmを行う.config構成
runtime.properties構成
Historical構成:プロファイルディレクトリ cd/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/data/historical jvmを行う.config構成
起動コマンド:/apache-druid-0.18.0/bin/start-cluster-data-server&
queryノードbroker&routerの構成(240 241ノード同時操作)
borker構成:プロファイルディレクトリ cd/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/query/broker jvmを行う.config構成
borker構成:プロファイルディレクトリ cd/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/query/router jvmを行う.config構成
起動コマンド:/apache-druid-0.18.0/bin/start-cluster-query-server&
構成が完了すると、druidのqueryノードの8888ポートによって可視化されたページが提供され、nginxによって10.32.1240:8888および10.32.110.241:8888を逆プロキシできます.
注意:起動が完了したらexitでサーバ接続を終了し、ウィンドウを直接閉じたり接続を切断したりすることはできません.そうしないとdruidのバックグラウンドプロセスも閉じられます.
mysql、zookeeper、hadoop(HDFS)環境jdk 1.8(druidサーバごとにインストールが必要)
druidのサーバリスト
サーバアドレス
サーバーの役割
コメント
10.32.10.240
druid-query
Broker、Router
10.32.10.241
druid-query
Broker、Router
10.32.10.242
druid-master
coordinator、overlord
10.32.10.243
druid-master
coordinator、overlord
10.32.10.244
druid-data
Historical、MiddleManager
10.32.10.245
druid-data
Historical、MiddleManager
druidクラスタの構築を開始
apache-druid-0.18.0-binをダウンロードします.tar.gzをサーバにアップロード(/mnt/druid)
すべてのサーバで操作が必要です
/mnt/druidに入り、tarパッケージを解凍します.
tar -zxvf apache-druid-0.18.0-bin.tar.gz
druidを行うクラスタ構成共通ディレクトリ/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/common
cd apache-druid-0.18.0/conf/druid/cluster/_common/
commonを設定します.runtime.properties
vim common.runtime.properties
修正runtime.propertiesプロファイル
druid.extensions.loadList=["druid-histogram", "druid-datasketches", "druid-lookups-cached-global", "mysql->metadata-storage", "druid-hdfs-storage", "druid-kafka-indexing-service"]
druid.host=10.32.10.240 #
### zookeeper
druid.zk.service.host=192.168.11.111:2181,192.168.11.112:2181,192.168.11.113:2181
druid.zk.paths.base=/druid018
# Metadata storage
# For MySQL (make sure to include the MySQL JDBC driver on the classpath):
druid.metadata.storage.type=mysql
druid.metadata.storage.connector.connectURI=jdbc:mysql://127.0.0.1:3306/druid018?characterEncoding=UTF8
druid.metadata.storage.connector.user=root
druid.metadata.storage.connector.password=root
# For HDFS:
druid.storage.type=hdfs
druid.storage.storageDirectory=hdfs://10.32.10.16:8020/druid018/segments
#
# Indexing service logs
#
# For HDFS:
druid.indexer.logs.type=hdfs
druid.indexer.logs.directory=hdfs://10.32.10.16:8020/druid018/indexing-logs
変更が完了したらdruidログディレクトリを作成します
mkdir -p/mnt/druid/apache-druid-0.18.0/var/sv/
次のmysqlパッケージをapache-druid-0.18.0/extensions/mysql-metadata-storageディレクトリに導入
mysql-connector-java-5.1.48.jar、password-connector-java-5.1.48.jar
マスターcoordinator-overlordの構成(242 243ノード同期動作)
プロファイルディレクトリ cd/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/master/coordinator-overlord jvmを行う.config構成
-server
-Xms15g
-Xmx15g
-XX:+ExitOnOutOfMemoryError
-XX:+UseG1GC
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager
-Dderby.stream.error.file=var/druid/derby.log
runtime.properties構成
druid.service=druid/coordinator
druid.plaintextPort=8081
druid.coordinator.startDelay=PT10S
druid.coordinator.period=PT5S
# Run the overlord service in the coordinator process
druid.coordinator.asOverlord.enabled=true
druid.coordinator.asOverlord.overlordService=druid/overlord
druid.indexer.queue.startDelay=PT5S
druid.indexer.runner.type=remote
druid.indexer.storage.type=metadata
druidのmasterノード/apache-druid-0.18.0/bin/start-cluster-master-no-zk-serverを起動&
DataノードMiddleManager Historicalの構成(244 245ノード同時操作)
MiddleManager構成:プロファイルディレクトリ cd/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/data/middleManager jvmを行う.config構成
-server
-Xms1g
-Xmx1g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager
runtime.properties構成
druid.service=druid/middleManager
druid.plaintextPort=8091
# Number of tasks per middleManager
druid.worker.capacity=4
# Task launch parameters
druid.indexer.runner.javaOpts=-server -Xms1g -Xmx1g -XX:MaxDirectMemorySize=1g ->Duser.timezone=UTC -Dfile.encoding=UTF-8 -XX:+ExitOnOutOfMemoryError ->Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager
druid.indexer.task.baseTaskDir=var/druid/task
# HTTP server threads
druid.server.http.numThreads=60
# Processing threads and buffers on Peons
druid.indexer.fork.property.druid.processing.numMergeBuffers=2
druid.indexer.fork.property.druid.processing.buffer.sizeBytes=100000000
druid.indexer.fork.property.druid.processing.numThreads=1
# Hadoop indexing
druid.indexer.task.hadoopWorkingPath=var/druid/hadoop-tmp
Historical構成:プロファイルディレクトリ cd/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/data/historical jvmを行う.config構成
-server
-Xms8g
-Xmx8g
-XX:MaxDirectMemorySize=13g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager
runtime.properties
druid.service=druid/historical
druid.plaintextPort=8083
# HTTP server threads
druid.server.http.numThreads=60
# Processing threads and buffers
druid.processing.buffer.sizeBytes=500000000
druid.processing.numMergeBuffers=4 #1:4 cpu
druid.processing.numThreads=15 # cpu -1
druid.processing.tmpDir=var/druid/processing
# Segment storage
druid.segmentCache.locations=[{"path":"var/druid/segment-cache","maxSize":300000000000}]
druid.server.maxSize=300000000000
# Query cache
druid.historical.cache.useCache=true
druid.historical.cache.populateCache=true
druid.cache.type=caffeine
druid.cache.sizeInBytes=256000000
起動コマンド:/apache-druid-0.18.0/bin/start-cluster-data-server&
queryノードbroker&routerの構成(240 241ノード同時操作)
borker構成:プロファイルディレクトリ cd/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/query/broker jvmを行う.config構成
-server
-Xms12g
-Xmx12g
-XX:MaxDirectMemorySize=6g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager
runtime.properties
druid.service=druid/broker
druid.plaintextPort=8082
# HTTP server settings
druid.server.http.numThreads=60
# HTTP client settings
druid.broker.http.numConnections=50
druid.broker.http.maxQueuedBytes=10000000
# Processing threads and buffers
druid.processing.buffer.sizeBytes=500000000
druid.processing.numMergeBuffers=6
druid.processing.numThreads=1
druid.processing.tmpDir=var/druid/processing
# Query cache disabled -- push down caching and merging instead
druid.broker.cache.useCache=false
druid.broker.cache.populateCache=false
borker構成:プロファイルディレクトリ cd/mnt/druid/apache-druid-0.18.0/conf/druid/cluster/query/router jvmを行う.config構成
-server
-Xms1g
-Xmx1g
-XX:+UseG1GC
-XX:MaxDirectMemorySize=128m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager
runtime.properties
druid.service=druid/router
druid.plaintextPort=8888
# HTTP proxy
druid.router.http.numConnections=50
druid.router.http.readTimeout=PT5M
druid.router.http.numMaxThreads=100
druid.server.http.numThreads=100
# Service discovery
druid.router.defaultBrokerServiceName=druid/broker
druid.router.coordinatorServiceName=druid/coordinator
# Management proxy to coordinator / overlord: required for unified web console.
druid.router.managementProxy.enabled=true
起動コマンド:/apache-druid-0.18.0/bin/start-cluster-query-server&
構成が完了すると、druidのqueryノードの8888ポートによって可視化されたページが提供され、nginxによって10.32.1240:8888および10.32.110.241:8888を逆プロキシできます.
注意:起動が完了したらexitでサーバ接続を終了し、ウィンドウを直接閉じたり接続を切断したりすることはできません.そうしないとdruidのバックグラウンドプロセスも閉じられます.