NVIDIA GPU の X11 headless setup + X11VNC/RDP 接続のメモ
背景
- OpenGL や Vulkan アプリをリモート(ディスプレイ接続の無いサーバ)で動かしたい
-
nvidia-settings
で GPU clock offset とかしたい-
nvidia-settings
を動かすには X11 が必要(nvidia-settings
自体は nv-control? という機能を呼んでおり GPU でコード公開されているので, いろいろ頑張れば直接/sys
あたりで制御レジスタ設定というのもできるかもしれない)
-
- nvidia proprietary driver 440 以降(確認したのは 455)とする
とりあえずのまとめ
- x11vnc を使う
- lightdm を使う(gdm3 は x11vnc に未対応)
- OpenGL, Vulkan が動く
-
nvidia-settings
動く - OptiX optixPathTracer sample 動く
- 画面サイズ変更に制約がある(EDID を取得して xorg.conf を編集の必要がある)
- xrdp(RDP) を使う
- gdm3, lightdm どちらでもよい
- lightdm だと最初真っ黒なので起動スクリプト追加が必要
- OpenGL が動く
- Vulkan 動かない(画面に出す場合. present queue がうまく作れない)
-
nvidia-settings
動かない(Prime な環境として認識されてしまう) - OptiX optixPathTracer sample 動かない(denoiser 関連?)
- 画面転送は VNC より少し効率な気がする
- 画面のサイズ変更などやりやすい
- コピペもやりやすい... はず.
今までの手元環境をそのまま headless 環境で再現したい場合は, x11vnc(+ lightdm) を使いましょう.
RDP は画面など細かく制御できてよいですが, Vulkan と nvidia-settings
動かないなど制約があります.
情報
セットアップ
Ubuntu 16.04 or later とする(Desktop 版で gdm/lightdm をインストールしているとする)
lightdm
gdm3 では x11vnc に対応していないため(なぜかは不明), lightdm に切り替えます.
lightdm
を apt で入れます.
すでに lightdm, gdm3 両方インストールしている場合は,
sudo dpkg-reconfigure gdm3
or
sudo dpkg-reconfigure lightdm
で, gdm3 or lightdm を選択できるようになるので, lightdm を選択します.
gdm3 を使っているかどうかは ps aux | grep Xorg
して -auth
が gdm のを使っているかどうかでわかります.
xorg.conf
sudo nvidia-xconfig --allow-empty-initial-configuration --enable-all-gpus --cool-bits=28
でまずは /etc/X11/xorg.conf
を作ります.
(ちなみに Ubuntu だとデフォルトでは /etc/X11/xorg.conf
が存在せず, /usr/share/X11/xorg.conf.d/***
のファイル(テンプレート設定?)を読み込む)
x11vnc や VirtualGL など動かしたいときは --virtual=1920x1200 --busid {busid}
でダミーのディスプレイを作るとよさそうである.
--use-display-device=None
も入れておくといいかも...?
RDP で接続する場合はダミーのディスプレイとして DPF-0
を指定するとよさそう(デフォルトだと CRT display に設定されてしまう)
sudo nvidia-xconfig --allow-empty-initial-configuration --cool-bits=28 --use-display-device="DFP-0" --connected-monitor="DFP-0" --enable-all-gpus
再起動します.
X11 アプリを動かす.
あとは以下のようにして DISPLAY と XAUTHORITY を設定して動かせばいけます!
(~/.ssh/config
でリモートマシンに ForwardX11 yes
を設定していたら外しておくとよいでしょう)
$ DISPLAY=:0 XAUTHORITY=/var/run/lightdm/root/:0 nvidia-settings -q fans
greeter(Ubuntu では lightdm がデフォルト) を使っているばあい, Authority ファイルへのアクセスのため sudo 必要でした(/var/run/lightdm/
が root 権限になっている)
nvidia-settings のクロックオフセットメモ
-q all
で出てくる PerfLevel に合わせて GPUMemoryTransferRateOffset[N]
の N を設定しますが, query で出てくる current perf level の値に設定してもはなぜか設定できないときがあるようです. 以下のように N +- 1 の設定もしておくのがよさそうです(通常はだいたい performance level 3
)
sudo DISPLAY=:0 XAUTHORITY=/var/run/lightdm/root/:0 nvidia-settings -a '[gpu:0]/GPUMemoryTransferRateOffset[2]=1200'
sudo DISPLAY=:0 XAUTHORITY=/var/run/lightdm/root/:0 nvidia-settings -a '[gpu:0]/GPUMemoryTransferRateOffset[3]=1200'
sudo DISPLAY=:0 XAUTHORITY=/var/run/lightdm/root/:0 nvidia-settings -a '[gpu:0]/GPUMemoryTransferRateOffset[4]=1200'
x11vnc
リモートで GUI 画面を開きたいときもあります.
普通に vnc 接続ですと GPU が有効にならないため, GPU が使える x11vnc を使います(描画をすべてサーバで行い仮想の画面に描画して VNC 画面転送みたいな).
VNC 接続用パスワードを生成します.
sudo x11vnc -storepasswd /etc/x11vnc.passwd
生成されるファイルの permission は root のみ読み書きできる 600
になっています.
sudo x11vnc -auth guess -display :0 -rfbauth /etc/x11vnc.passwd -rfbport 5900 -forever -loop -noxdamage -repeat -shared
のようにして起動します.
-ncache 10
も追加するといくらか画面描画が速くなるかもしれません.
...
08/11/2020 15:36:59 -auth guess: using 'XAUTHORITY=/var/run/lightdm/root/:0' for disp=':0'
...
08/11/2020 15:36:59 Default visual ID: 0x21
08/11/2020 15:37:00 Read initial data from X display into framebuffer.
08/11/2020 15:37:00 initialize_screen: fb_depth/fb_bpp/fb_Bpl 24/32/7680
08/11/2020 15:37:00
08/11/2020 15:37:00 X display :0 is 32bpp depth=24 true color
08/11/2020 15:37:00
08/11/2020 15:37:00 Listening for VNC connections on TCP port 5900
08/11/2020 15:37:00 Listening for VNC connections on TCP6 port 5900
guess
で XAUTHORITY がうまく見つからなかったら手動で設定してみましょう.
あとは VNC クライアントで接続し, glxinfo
あたり実行してリモートで nvidia ドライバ(GPU HW accelerated) で動いているのを確認する.
Ubuntu では Remmia という RDP/VNC クライアントが標準であるのでそれを使うとよい(tightvnc viewer とか使いづらいため)
ただ, VNC は仕組み上, 非圧縮としても全画面転送は遅い(ローカル接続時でも)ためもっさりしてつらいです.
(OpenGL で vsync off? だと, ティアリングはするが 1024x1024 くらいまでであれば 1GbE でもそこそこの速度で動きはする)
画面サイズの変更
デフォルトでは 1024x768 サイズです. Ubuntu 側の Display 設定で 1600x1200
まで上げることができますが, 手元 PC のディスプレイが 4K or larger だと画面サイズが小さいです.
また, x11vnc で -geometry
でサイズ設定だとスケーリングがかかるだけです.
仮想のディスプレイをでっち上げる必要があります.
そのためには EDID というディスプレイのデータを xorg.conf で指定する必要があります.
headless ubuntu server with desktop gui with working gpu
https://askubuntu.com/questions/1119542/headless-ubuntu-server-with-desktop-gui-with-working-gpu
ただし, EDID 指定した状態で, 別の物理的なモニタにつないでしまうと画面が出ないので注意です(X11 が動かない).
EDID のデータはネットを漁れば手にいれることもできますし, 手元 PC で NVIDIA GPU 使っていれば nvidia-settings
で Acquire EDID
で手元 Display の設定を取得してそれを流用できます.
参考までに Dell 27 inch 4K ディスプレイの EDID データ(base64)です. base64 -d file
などとしてバイナリにしてください.
AP///////wAQrCehTDVSMCEdAQOAPSN47u6Vo1RMmSYPUFSlSwBxT4GAqcCpQNHA4QABAQEBCOgA
MPJwWoCwWIoAYV0hAAAaAAAA/wBLV0hGMjk4RTBSNUwKAAAA/ABERUxMIFUyNzE4UU0KAAAA/QAx
VgqJPAAKICAgICAgARECAz7xWGFgX15dEAUEAgcWARQfEhMnICEiAwYRFSMJHweDAQAAbQMMABAA
MEQgAGADAgFn2F3EAXiAAeIPA1ZeAKCgoClQMCA1AGFdIQAAGgR0ADDycFqAsFiKAGFdIQAAHr8W
AKCAOBNAMCA6AGFdIQAAGgAAAAAAAAAAAAAApA==
最終的に, NVIDIA headless 用の xorg.conf 生成は以下のようになります.
sudo nvidia-xconfig -a --allow-empty-initial-configuration --cool-bits=28 --enable-all-gpus \
--use-display-device="DFP-0" --connected-monitor="DFP-0" \
--custom-edid="DFP-0:/etc/X11/dellfpd-4k-edid.bin"
DFP-0
は flat panel display であることを示すものです(指定しないと CRT display が割り当たる模様).
DFP-0
に, ディスプレイの設定(EDID)を指定しています.
必要であれば --virtual=1920x1200 --busid {busid}
も指定してみてください
(virtual はデフォルトでの画面サイズ(greeter での画面サイズ)を設定するっぽい))
これで x11vnc で画面サイズを変更できるようになります!
リモート接続先の Display 設定で画面サイズを変えたら VNC 再接続必要です.
RDP(Ubuntu version により対応違いあり)
おまけとして, 全画面転送が RDP だと早くなるかなとおもって RDP を試します.
RDP だと X11 headless 設定は不要かもしれません.
WindowsのRDPを使ってクラウド上のLinuxインスタンスに接続する
https://qiita.com/yamada-hakase/items/a8efe626f598c5eb6f8c
Ubuntu では, リモートマシンに xrdp
を apt で入れます.
上記記事を参考に xrdp ユーザを ssl-cert
に登録しておくとよいかも?
sudo adduser xrdp ssl-cert
ちなみに 20.04 では特に extra な設定をせずに xrdp 動くようです.
第621回 Ubuntu 20.04 LTSでxrdpを使用する
https://gihyo.jp/admin/serial/01/ubuntu-recipe/0621
また, RDP では gdm3, lightdm のどちらでも OK ですが, lightdm だと最初真っ黒(なにもデスクトップマネージャが起動していない)なので, いろいろスクリプトセットアップが必要になります.
Linux client から Linux server(RDP sever) へつなぐ
残念ながら client 18.04 -> server 16.04 はうまくいきませんでした(接続しようとすると Remmia client が落ちてしまう. Windows の RDP client ではうまくいくようだが...)
client 18.04 -> server 20.04.1 はうまく行きました.
ただし Desktop session(Dock?) は動いてくれませんでした. 上記 Gihyo のページにあるようにセッションの設定などすればいけます.
画面のレスポンスはやはり RDP がよいです.
NVIDIA headless + RDP(xrdp) + Server-side OptiX ray tracing for the win!!!!! 🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🥰🥰🥰🥰🥰🥰🥰🥰😻😻😻😻😻😻😻 It makes GPU Ray tracing development on thin client possible! ☺️☺️☺️☺️😊😊😊😊😊😍😍😍😍 pic.twitter.com/KYmlpLxN2P
— Syoyo Fujita 🌸 レイトラ 🐯 2 周年 🎉 (@syoyo) November 8, 2020
GPU 積んだマシンをリモート(e.g. 別部屋)に置いての Graphics app 開発がやりやすくなります!
1 GbE では画面転送さすがにぬるぬるというわけにはいきませんでした.
10 GbE or InfiniBand でつなげばぬるぬるいけるかも?
問題点
RDP だと nvidia-settings
がうごきません(Prime な環境と認識されてしまうが, 物理画面が無いのでいろいろ不都合が出て動かないっぽい).
Vulkan も画面出すのは動きません(これも原因は Window system 周りっぽい). compute は動きます.
TODO
- x11vnc の動作を確認する
- RDP 接続を確認する
-
RDP 接続時に
nvidia-settings
が動かない原因を調べる - VirtualGL の動作を確認する
- 10 GbE or InfiniBand(e.g. IB QDR 40 GbE)で画面転送が早くなるか確認する.
Author And Source
この問題について(NVIDIA GPU の X11 headless setup + X11VNC/RDP 接続のメモ), 我々は、より多くの情報をここで見つけました https://qiita.com/syoyo/items/a14fa891b80bb82a4485著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .