spark 2.2.0ソース読み---spark coreバッグ---network
1751 ワード
1、本文の目標及びその他の説明:
本論文は主にnetworkバッグの下の種類を紹介します.
2、network包下のデータ構造説明
本論文は主にnetworkバッグの下の種類を紹介します.
2、network包下のデータ構造説明
trait BlockDataManager { // 3 1 、 blockid 2、 blockid
。3、 1/2
private[spark]
abstract class BlockTransferService extends ShuffleClient with Closeable with Logging {
前のは格納、引き出しのはローカルです.これはリモート端末のデータを保存したり引いたりするためのもので、同期非同期のものです.class NettyBlockRpcServer(
appId: String,
serializer: Serializer,
blockManager: BlockDataManager)
extends RpcHandler with Logging { , block, block
。
private[spark] class NettyBlockTransferService(
conf: SparkConf,
securityManager: SecurityManager,
bindAddress: String,
override val hostName: String,
_port: Int,
numCores: Int)
extends BlockTransferService {
は遠端にblockの具体的なnettyをキャプチャまたはアップロードして実現します.