cgroupsを利用したリソースコントロール(RHEL7)

cgroupsとは

cgroups(Control Groups)とは、「プロセスをグループ化して、
リソースの利用をコントロール」するカーネル機能で、
Linux 2.6.24からマージされています。

具体的には、グループ単位でリソースの割り当て、
優先度、管理、モニタリングなどが設定できます。

cgroupsそのものはプロセスを「コントロールグループ」
と呼ばれる単位にまとめるだけで、リソースコントロールを
行うにはコントロールグループに「サブシステム」
と呼ばれる抽象化されたリソース群をつなげる必要があります。

主なサブシステムには、次のようなものがあります。

・cpu CPUへのアクセス
・cpuacct CPUについての自動レポートを生成
・cpuset マルチコアCPUのコア単位およびメモリノードを割り当て
・memory メモリに対する制限設定とメモリリソースについての自動レポートの生成
・blkio ブロックデバイスの入出力アクセス
・devices デバイスへのアクセス
・net_cls ネットワークパケットへのタグ付け
・net_prio ネットワークトラフィックの優先度を動的に設定
・freezer タスクを一時停止または再開

「コントロールグループ」自体は、あくまで名前だけなので
１つの「コントロールグループ」で複数のリソースをコントロールすることも可能です。

cgroupsのインストール

cgroupsのインストール

# yum install libcgroup libcgroup-tools

cgroupsの起動設定

# /usr/bin/systemctl enable cgconfig
# /usr/bin/systemctl enable cgred

コマンドによる設定方法

まずはグループ作成

対象をCPUとメモリとした[CPU75_Mem_Group]というコントロールグループを作成する。

# sudo cgcreate -g cpu,memory:/CPU75_Mem_Group

制限値を設定

作成したコントロールグループにリソースの制限値を設定する。
CPUを使用率75%に制限する場合は、1000000マイクロ秒(1秒)あたり
75000マイクロ秒(0.75秒)間だけ、単一のCPUを使用するよう
に指定したいので以下のようになる。と思いがちですが
「単一のCPU」というのがネックで複数コアを搭載している場合は

制限したい使用率75%×コア数(4コアの場合)
[cpu.cfs_quota_us]を計算すると
[cpu.cfs_quota_us]= 0.75 x 4core x 100000(sをµsに変換) = 300000 となる。

以下のように設定したい。

# cgset -r cpu.cfs_quota_us=300000 CPU75_Mem_Group
# cgset -r cpu.cfs_period_us=1000000 CPU75_Mem_Group

メモリの割り当て制限する場合は、
memory.limit_in_bytes(ユーザーメモリの上限)とmemory.memsw.limit_in_bytes(ユーザーメモリ+スワップの上限)の値を設定する必要がある。

例えばユーザーメモリ(物理メモリ)を100MB、スワップを500MBに制限するとした場合は

# cgset -r memory.limit_in_bytes=100M CPU75_Mem_Group
# cgset -r memory.memsw.limit_in_bytes=500M CPU75_Mem_Group

その他のcgroupsに関連するコマンド

コマンド 機能
・cgcreate コントロールグループの作成
・cgdelete コントロールグループの削除
・cgset サブシステムのパラメーター設定
・cgget コントロールグループのパラメーター表示
・cgclassify コントロールグループのタスク移動
・cgexec コントロールグループ内のプロセス開始
・cgsnapshot 既存サブシステムから設定ファイルを生成
・cgconfigparser 設定ファイルを解析して階層をマウント
・cgclear コントロールグループのアンロード
・lscgroup コントロールグループの確認
・lssubsys サブシステムのマウントポイント表示

設定ファイルによる設定方法

設定ファイルによる設定

cgconfigサービスが参照している[/etc/cgconfig.conf]を編集し設定する方法です。
コマンドと同じ条件で制限する場合は、以下のようにファイルに編集する必要がある。

[/etc/cgconfig.conf]

group CPU75_Mem_Group {
cpu {
cpu.cfs_quota_us = 300000;
cpu.cfs_period_us = 1000000;
}
memory {
memory.limit_in_bytes = 100M
memory.memsw.limit_in_bytes = 500M
}
}


特定ユーザのみ制限をかける方法

cgredサービスが参照している[/etc/cgrules.conf]に下記の設定を行い、
[/etc/cgconfig.conf]で設定したコントロールグループを特定ユーザに関連づける。

[/etc/cgrules.conf]

hoge_user cpu CPU75_Mem_Group


設定を反映するには、サービスの再起動が必要となる。

特定プロセスを制限をかけて起動

cgroup経由でSofteterを起動
[/etc/cgconfig.conf]で設定したコントロールグループ

# cgexec -g cpu:CPU75_Mem_Group <プロセス起動コマンド>

特定ユーザの特定プログラムだけに制限をかける方法

[/etc/cgrules.conf]に下記の設定を行い、[/etc/cgconfig.conf]で設定した
コントロールグループを特定ユーザ、特定プログラムに関連づける。

[/etc/cgrules.conf]

hoge_user:<プログラム名> cpu CPU75_Mem_Group


制限をかけた特定プログラムを他コントロールグループに移す方法

ユーザ単位で制限したときのタスク(プロセス)は、CPU利用率が制限され
実行時点では、コントロールグループの管理下となる。
そのため、psコマンドを実行すると管理下にあるタスク(プロセス)の
PIDが出力される。

例えばpsコマンド実行時、[hoge_user]のPID[3333]だったとしよう
[/sys/fs/cgroup/cpu/CPU75_Mem_Group/tasks]にPIDが格納されているので
[CPU75_Mem_Group]から[CPU25_Mem_Group]へコントロールグループを
移すのは、以下のように実施する。

# sh -c "echo 3333 >> /sys/fs/cgroup/cpu/CPU25_Mem_Group/tasks"

ディスクI/O帯域制限する方法

以下のパラメータを変更するとディスクI/O制限することが可能となる。

・特定のデバイスに対するアクセス速度の上限をByte/Sec単位で指定。
0を指定すると制限を解除。

指定方法は"Major:Minor 設定値"（例"8:0 1048576"）

・blkio.throttle.read_bps_device
・blkio.throttle.write_bps_device

・特定のデバイスに対するアクセス速度の上限をIO/Sec単位で指定。
0を指定すると制限を解除。

指定方法は"Major:Minor 設定値"（例"8:0 2048"）

・blkio.throttle.read_iops_device
・blkio.throttle.write_iops_device

※Minor番号の指定がありますが、実際にはディスクパーティション単位での
指定はできない場合があるようです。
パーティション/dev/sda1, /dev/sda2・・などを使用している場合は、
/dev/sdaに対して指定すること。

まずは、対象となるブロックデバイスのメジャー番号の確認
以下の場合、[/dev/sda]は[8:0]となる。

# lsblk -p
NAME                         MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
/dev/fd0                      2:0    1    4K  0 disk
/dev/sda                      8:0    0   40G  0 disk
├/dev/sda1                   8:1    0    1G  0 part /boot
└/dev/sda2                   8:2    0   39G  0 part
  ├/dev/mapper/centos-root 253:0    0   37G  0 lvm  /
  └/dev/mapper/centos-swap 253:1    0    2G  0 lvm  [SWAP]
/dev/sr0                     11:0    1 1024M  0 rom

書き込みの上限を1MB/Secに指定した場合、[/etc/cgconfig.conf]に
以下のように設定する。

[/etc/cgconfig.conf]

group DiskIO_Group  {
    blkio {
        blkio.throttle.read_bps_device = "8:0 1048576";
        blkio.throttle.write_bps_device = "8:0 1048576";
    }
}

同様にIOPSの上限を999IOPSに制限する場合は、[/etc/cgconfig.conf]に
以下のように設定する。

[/etc/cgconfig.conf]

group DiskIO_Group  {
    blkio {
        blkio.throttle.read_iops_device = "8:0 999";
        blkio.throttle.write_iops_device = "8:0 999";
    }
}

CPU、メモリ同様にプロセス毎、ユーザ毎にディスクも制限可能だ。

ネットワーク帯域制限する方法

プロセスごとのネットワーク帯域制限は、[cgroups]の[net_cls]と[tc]もしくは[netfilter]を使うことで実現可能です。

net_cls サブシステムは、Linux トラフィックコントローラー (tc) が
特定の cgroup から発信されるパケットを識別できるようにし、
クラス識別子 (classid) を使用して、ネットワークパケットをタグ付けします。
トラフィックコントローラーは、異なる cgroup からのパケットに
異なる優先順位を割り当てるように設定できます。

送出するネットワークパケットに『帯域クラスラベル』を付与します。帯域クラスは、別途 tc コマンドで設定しておく必要があります。tc コマンドは、送出パケットに対するネットワーク帯域を制御する機能を提供します。

なお、tc コマンドは受信パケットに対する帯域制御はできません。

まずは、ネットワーク制限するグループを作成し

[/etc/cgconfig.conf]

group Network_Group1 {
    net_cls {
        net_cls.classid = 0x100001;
    }
}
group Network_Group2 {
    net_cls {
        net_cls.classid = 0x100002;
    }
}

tcコマンドで制限値を設定し、cgroupのclassidと紐づける

# <Network I/F>を除外
tc qdisc del dev <Network I/F①> root
tc qdisc del dev <Network I/F②> root

# <Network I/F>を追加
tc qdisc add dev <Network I/F①> root handle 1: htb default 1
tc qdisc add dev <Network I/F②> root handle 1: htb default 1

# <Network I/F①>を10MBに制限
tc class add dev <Network I/F①> parent 1: classid 10:1  htb rate 1000Mbit ceil 1000Mbit burst 10MB cburst 10MB

# <Network I/F①>を5MBに制限
tc class add dev <Network I/F②> parent 1: classid 10:2 htb rate  500Mbit ceil  500Mbit burst  5MB cburst  5MB

# tc filterに<Network I/F①>を追加
tc filter add dev <Network I/F①> parent 1: protocol ip prio 1 handle 1 cgroup
tc filter add dev <Network I/F②> parent 1: protocol ip prio 1 handle 1 cgroup

# プロセスに帯域制限を付与して実行
cgexec --sticky -g net_cls:Network_Group1 ./scp_test.sh

ネットワーク帯域制限の設定確認するには

tc qdisc show dev <Network I/F①>
qdisc tbf 1: root refcnt 2 rate 1000Mbit burst 10MB lat 36.9ms 
qdisc netem 10: parent 1:1 limit 1000 delay 50.0ms  10.0ms

ネットワーク帯域制限がかかっている状態か確認するには

tc -s qdisc show dev <Network I/F①>
qdisc tbf 1: root refcnt 2 rate 1000Mbit burst 10MB lat 36.9ms 
qdisc netem 10: parent 1:1 limit 1000 delay 50.0ms  10.0ms

また、tcコマンドでは、帯域幅だけでなく、以下オプションによりデータキュー、パケットのサイズに制限をかけることも可能です。

limit 500Kb … データキューのサイズを 500KByte に設定。
buffer 100Kb … パケットのサイズを 100KByte に設定。
rate 500Kbps … 帯域幅を 200KBps に設定。
注意点として、[tc]での[b]表記は「ビット」ではなく「バイト」であること。

tcの詳しい説明は以下を参考にするといいだろう。
http://labs.gree.jp/blog/2014/10/11266/
https://qiita.com/hana_shin/items/d9ba818b49aca87b2314

cgroupsの用途

・KVM仮想マシンのIO帯域を制限
・Dockerのコンテナ毎にCPU,メモリ制限
・アンチウィルスソフトウェアへのCPU制限
・業務に影響を与えないためにscp等のファイル転送時に帯域制限
・AWS等のクラウド環境で課金対象を低減させるための、リソース制限等々

参考