spark 2.2.0ソース読み---spark coreバッグ---network

1751 ワード

1、本文の目標及びその他の説明:
    本論文は主にnetworkバッグの下の種類を紹介します.
2、network包下のデータ構造説明   
trait BlockDataManager { //   3    1 、  blockid        2、  blockid      
  。3、  1/2     
private[spark]
abstract class BlockTransferService extends ShuffleClient with Closeable with Logging {
   前のは格納、引き出しのはローカルです.これはリモート端末のデータを保存したり引いたりするためのもので、同期非同期のものです.
   
class NettyBlockRpcServer(
    appId: String,
    serializer: Serializer,
    blockManager: BlockDataManager)
  extends RpcHandler with Logging {     ,         block,       block   
private[spark] class NettyBlockTransferService(
    conf: SparkConf,
    securityManager: SecurityManager,
    bindAddress: String,
    override val hostName: String,
    _port: Int,
    numCores: Int)
  extends BlockTransferService {
は遠端にblockの具体的なnettyをキャプチャまたはアップロードして実現します.