WSL2でmicroK8sを使ってみた　～トラブルシューティングを添えて～

10570 ワード
microk8s kubernetes WSL2 kubernetes テキストリンク

この記事は、NTTテクノクロスAdvent Calnder 2021の12日目です。
NTTテクノクロスの@yuyhiraka (平川) と申します。

免責

この記事に記載の内容は個人的な取り組みの内容であり、所属する組織とは関係ありません。また、記事の中で手順を示しますが読者が手順を実際に行った場合において一切の責任を負いかねますので、自己責任のもとで行ってください。

はじめに

手元で動くKubernetes環境としてminikubeを良く使っているのですがネットワーク構成の関係でNodePortが上手く使えないので今回はMicroK8sを使ってみました。（kubectl port-forwardしたくない。）

マシンスペック

  • Windows10 WSL2上のUbuntu 20.04 LTS
  • CPU Intel(R) Core(TM) i7-10610U 1.80GHz
  • Mem 16GB

WSL2 Ubuntu 20.04 LTS上にMicroK8sを構築する

今回MicroK8sを利用します。MicroK8sはCanonical社による有償サポートプラン(Ubuntu Advantage Desktop) の適用範囲でありNTTテクノクロスがUbuntu Advantageの国内唯一の日本語対応可能の代理店となっています。パンフレットもあります。

実はMicroK8sはWindowsに標準対応しているのですがWSL2でやってみたかったので今回はその方法は取りませんでした。

WSL2上のOSを確認する

$ cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=20.04
DISTRIB_CODENAME=focal
DISTRIB_DESCRIPTION="Ubuntu 20.04.3 LTS"

WSL2でsnapが使えないので対処

※暫定対処
WSL2でsnapが使えないのは既知で複数の対処方法があります。これは一例になりますがサポート対象外のダーティな対処になります。
参考記事:WSL2のUbuntuでsystemd（systemctl）とsnapが使えない

MicroK8sをインストールする

snapが操作できることを確認

brokenになっているのが気になりますね。

$ sudo snap list
Name    Version  Rev    Tracking       Publisher   Notes
core18           2128   latest/stable  canonical✓  broken
lxd              21029  4.0/stable/…   canonical✓  broken
snapd            12704  latest/stable  canonical✓  broken

起動直後だと以下のエラーが出るので出なくなるまで待つ

$ sudo snap install microk8s
error: too early for operation, device not yet seeded or device model not acknowledged

オプションが足りないと怒られる

$ sudo snap install microk8s
error: This revision of snap "microk8s" was published using classic confinement and thus may
       perform arbitrary system changes outside of the security sandbox that snaps are usually
       confined to, which may put your system at risk.

       If you understand and want to proceed repeat the command including --classic.

気を取り直してmicroK8sのインストールを試みる

$ sudo snap install microk8s --classic
microk8s (1.22/stable) v1.22.4 from Canonical✓ installed

正常動作しているかを確認する

brokenではなくなっていることがわかります。

 sudo snap list
Name      Version   Rev    Tracking       Publisher   Notes
core18    20211028  2253   latest/stable  canonical✓  base
microk8s  v1.22.4   2695   1.22/stable    canonical✓  classic
snapd     2.53.2    14066  latest/stable  canonical✓  snapd

microK8sのkubectlコマンドを触ってみる

$ sudo microk8s.kubectl version
Client Version: version.Info{Major:"1", Minor:"22+", GitVersion:"v1.22.4-3+adc4115d990346", GitCommit:"adc4115d990346b87714cc4f033d225711bf744d", GitTreeState:"clean", BuildDate:"2021-11-17T22:07:39Z", GoVersion:"go1.16.10", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"22+", GitVersion:"v1.22.4-3+adc4115d990346", GitCommit:"adc4115d990346b87714cc4f033d225711bf744d", GitTreeState:"clean", BuildDate:"2021-11-17T22:03:17Z", GoVersion:"go1.16.10", Compiler:"gc", Platform:"linux/amd64"}

$ sudo microk8s.kubectl get node
NAME         STATUS   ROLES    AGE     VERSION
node   Ready    <none>   5m59s   v1.22.4-3+adc4115d990346

MicroK8s上のワークロードがWindows側から見れるか確認

PodとServiceを作って確認する

$ sudo microk8s.kubectl run nginx --image nginx
pod/nginx created
$ sudo microk8s.kubectl expose pod nginx --port 80 --type NodePort --name nginx
service/nginx exposed
$ sudo microk8s.kubectl get pod
NAME    READY   STATUS    RESTARTS   AGE
nginx   1/1     Running   0          94s
$ sudo microk8s.kubectl get svc
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
kubernetes   ClusterIP   10.152.183.1     <none>        443/TCP        10m
nginx        NodePort    10.152.183.250   <none>        80:30099/TCP   58s

Windows側のWebブラウザでアクセス

問題なくNodePortが機能していることが確認できます。

トラブルシューティングとワークアラウンド

本ページを執筆するにあたって遭遇した問題のワークロードについて紹介します。

概要としては

  • 問題1) WSL2再起動契機でmicroK8sが壊れる
  • 問題2) microK8sがsnapで再インストールができなくなる

問題発生の契機

検証作業のためにまとまった時間が取れなかったので一度作業を中断したいと思いました。

そこで中断するためにcmd.exeを管理者権限で起動し

wsl.exe --shutdown

でWSL2停止。
しばらく時間が経ってから検証作業に復帰しWSL2を起動しkubectlコマンドを実行すると

$ sudo microk8s.kubectl get node
[sudo] password for user:
internal error, please report: running "microk8s.kubectl" failed: cannot find installed snap "microk8s" at revision 2695: missing file /snap/microk8s/2695/meta/snap.yaml

というエラーが出るようになってしまいます。　(★問題1)

以下を見るかぎりsnap的にbrokenになってしまっています。似た事象の内容のフォーラムは見かけましたが関連するかは不明です。

$ sudo snap list
Name      Version  Rev    Tracking       Publisher   Notes
core18             2253   latest/stable  canonical✓  broken
microk8s           2695   1.22/stable    canonical✓  broken
snapd              14066  latest/stable  canonical✓  broken

色々と切り分けしても解決しないので仕方なくmicroK8sを再インストールすると今度は別の問題が発生しそもそもmicroK8sがインストールできなくなりました。　(★問題2)

$ sudo snap remove microk8s
microk8s removed
$ sudo snap install microk8s  --classic
error: cannot perform the following tasks:
- Run install hook of "microk8s" snap if present (run hook "install":
-----
++ /snap/microk8s/2695/bin/uname -m
/snap/microk8s/2695/meta/hooks/install: line 5: /snap/microk8s/2695/bin/uname: No such file or directory
+ ARCH=
-----)

デバッグモードを試しますが情報量は特に増えません。

$ sudo -i
# SNAPD_DEBUG=1 snap install microk8s --classic
2021/12/09 11:29:23.476801 tool_linux.go:204: DEBUG: restarting into "/snap/core/current/usr/bin/snap"
error: cannot perform the following tasks:
- Run install hook of "microk8s" snap if present (run hook "install":
# 
-----
++ /snap/microk8s/2695/bin/uname -m
/snap/microk8s/2695/meta/hooks/install: line 5: /snap/microk8s/2695/bin/uname: No such file or directory
+ ARCH=
-----)

当該エラーで検索しても有効な情報は見つからず途方に暮れたのでsnap自体を再インストールします。

# rootから一般ユーザに戻ります
# exit

$ sudo apt autoremove --purge snapd
$ sudo apt install snapd

無事に復旧しました。

$ sudo snap install microk8s --classic
2021-12-09T12:40:31+09:00 INFO Waiting for automatic snapd restart...
microk8s (1.22/stable) v1.22.4 from Canonical✓ installed
$ sudo microk8s.kubectl get node
NAME         STATUS     ROLES    AGE   VERSION
node   Ready   <none>   46s   v1.22.4-3+adc4115d990346

まとめ

手元で動くKubernetes環境としてWSL2上にmicroK8sを構築できることがわかりました。

一方、ワークアラウンドは見つけたものの検証において問題を2件発見しました。

問題1)
WSL2を再起動するとmicroK8sが使えなくなり「internal error, please report: running　～」というエラーが表示される。

問題2)
問題1のワークアラウンドとしてmicroK8sを再インストールを試みるが不思議な壊れ方をしてmicroK8sの再インストールができない

問題1, 問題2のどちらについても「発生のための環境的な前提条件」や「発生原因」の特定ができていないので調査してみるのも面白そうです。

明日は@nobeansによるNTTテクノクロスAdvent Calnder 2021の記事です。お楽しみに！

kafka構成