EMRでのSparkに割り当てられるメモリ・コアの上限メモ
随時変わる可能性があります。（僕自身も検証中です）
試した環境
EMR5.0
Spark2.0
m4.large
- core
- 物理core: 2
- executor-core: 4
- memory
- 物理memory: 8g
- executor-memory: 5g
m4.xlarge
- core
- 物理core: 4
- executor-core: 8
- memory
- 物理memory: 16g
- executor-memory: 10g
r3.xlarge
- core
- 物理core: 4
- executor-core: 8
- memory
- 物理memory: 30.5g
- executor-memory: 20g
r3.4xlarge
- core
- 物理core: 16
- executor-core: 16
- memory
- 物理memory: 122g
- executor-memory: 70g
c4.2xlarge
- core
- 物理core: 8
- executor-core:8
- memory
- 物理memory: 15g
- executor-memory: 9g
Author And Source
この問題について(EMRでのSparkに割り当てられるメモリ・コアの上限メモ), 我々は、より多くの情報をここで見つけました https://qiita.com/uryyyyyyy/items/5cc7fa8957ad5953f111著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .