vSphere 6.7 に Kubernetes クラスタを構築してみます。
今回のクラスタは、うちでの勉強のために作成するので
「Kubernetes Anywhere」を利用しています。
GitHub - kubernetes/kubernetes-anywhere: {concise,reliable,cross-platform} turnup of Kubernetes clusters
今回の環境。
Kubernetes クラスタを展開する環境のソフトウェア構成は下記です。
- vSphere 6.7（vCenter 6.7 / ESXi 6.7。vSphere の DRS クラスタ構成ずみ）
- Kubernetes v1.9.7（Kubernetes Anywhere でデプロイ）
- vSAN 6.7（Kubernetes VM のデータストアとして利用）
- NSX for vSphere 6.4.1（NSX Edge の DHCP サービスと論理スイッチを利用）
Kubernetes Anywhere で、Docker コンテナを利用した Kubernetes クラスタのデプロイをします。
実行する Docker ホストのソフトウェア構成は下記です。
- VMware Photon OS 2.0
- Docker 17.06.0-ce
Kubernetes Anywhere 用の OVA のデプロイ。
Kubernetes Anywhere on vSphere むけの Photon OS の OVA ファイル
「KubernetesAnywhereTemplatePhotonOS.ova」が、下記で提供されています。
kubernetes-anywhere/README.md at master · kubernetes/kubernetes-anywhere · GitHub
ファイルへの直接リンクは下記です。
https://storage.googleapis.com/kubernetes-anywhere-for-vsphere-cna-storage/KubernetesAnywhereTemplatePhotonOS.ova
デプロイ時のデフォルトの VM 名は長いので、今回は
03-Template という VM フォルダを作成し、その直下に
k8s-anywhere-ova という名前でデプロイしています。
DHCP によるアドレス取得の都合により、
この OVA はデプロイ後にパワーオンしないようにしておきます。
Kubernetes Anywhere の Docker ホストの準備。
Docker Host の Photon OS は、OVA 版を利用しています。
まず、下記から Photon OS 2.0 GA の OVA をダウンロードして、ESXi にデプロイします。
Photon OS 2.0 GA Binaries
OVA with virtual hardware v13 (ESX 6.5 and above)
Downloading Photon OS · vmware/photon Wiki · GitHub
root / changeme でログインして初期パスワードを変更します。
tdnf コマンドで RPM パッケージをアップデートしたうえで、OS を再起動しておきます。
root@photon-machine [ ~ ]# cat /etc/photon-release
VMware Photon OS 2.0
PHOTON_BUILD_NUMBER=304b817
root@photon-machine [ ~ ]# tdnf update -y
root@photon-machine [ ~ ]# reboot
Docker はあらかじめインストールされているので、
サービスを有効化 / 起動します。
root@photon-machine [ ~ ]# systemctl enable docker
root@photon-machine [ ~ ]# systemctl start docker
Kubernetes Anywhere コンテナのダウンロード～起動。
kubernetes-anywhere のコンテナイメージをダウンロードします。
root@photon-machine [ ~ ]# docker pull cnastorage/kubernetes-anywhere:v2
コンテナを起動します。
今回は、Docker ホストのカレントディレクトリ直下の tmp ディレクトリを、
コンテナの /tmp に割り当てています。
起動してそのままコンテナの中に入っているため
プロンプトが「[container]:/opt/kubernetes-anywhere>」になります。
root@photon-machine [ ~ ]# mkdir tmp
root@photon-machine [ ~ ]# docker run -it -v `pwd`/tmp:/tmp --rm --env="PS1=[container]:w> " --net=host cnastorage/kubernetes-anywhere:v2 /bin/bash
[container]:/opt/kubernetes-anywhere>
Kubernetes をデプロイするためのコンフィグを作成します。
[container]:/opt/kubernetes-anywhere> make config
今回は、下記のように実行しました。
赤字部分が入力部分です。
パラメータを入力した直後には Enter キーも押していますが、
ただ Enter キーを押した個所はわかりにくいため「 Enterキー」と記載しています。
できるだけデフォルト値を採用していますが、
じつは今回は Blockchain on Kubernetes（BoK）検証むけの
Kubernetes クラスタを作成しようとしているため一部の設定値は BoK むけに調整しています。
- CPU、メモリを増加。
- Kubernetes のバージョンは BoK のガイドにある v1.9.7 に決め打ち。
- 同様に phase2.installer_container もガイドにあるイメージを指定。
このラボ環境むけのパラメータ指定もあります。
- phase1.vSphere.username はラボにあるユーザを指定。
（[email protected] などでもよい） - データストアでは vSAN データストア（vsanDatastore）を指定。
- vSphere のクラスタで DRS を有効化し、リソースプール（kube-pool-01）を事前作成してある。
- VM フォルダ（02-Lab/lab-k8s-01）を指定しているが、これらは事前作成してある。
02-Lab/lab-k8s-01 は、VM フォルダを2階層にしている。 - ポートグループ（vxw-dvs-30-virtualwire-14-sid-10003-ls-lab-k8s-003）は、NSX 論理スイッチのバッキングとなっている分散ポートグループを指定。
この論理スイッチでは、NSX Edge の DHCP サービスを利用して、インターネット接続できるようネットワーク設定をしている。
（DHCP は Kubernetes Anywhere のデプロイで必要） - Kubernetes ノードのテンプレートになる VM は配置している VM フォルダも併せて指定（03-Template/k8s-anywhere-ova）。
[container]:/opt/kubernetes-anywhere> make config
CONFIG_="." kconfig-conf Kconfig
*
* Kubernetes Minimal Turnup Configuration
*
*
* Phase 1: Cluster Resource Provisioning
*
number of nodes (phase1.num_nodes) [4] (NEW) Enterキー
kubernetes cluster name (phase1.cluster_name) [kubernetes] (NEW) Enterキー
SSH user to login to OS for provisioning (phase1.ssh_user) [] (NEW) Enterキー
*
* cloud provider: gce, azure or vsphere
*
cloud provider: gce, azure or vsphere (phase1.cloud_provider) [vsphere] (NEW) Enterキー
*
* vSphere configuration
*
vCenter URL Ex: 10.192.10.30 or myvcenter.io (without https://) (phase1.vSphere.url) [] (NEW) infra-vc-01.go-lab.jp
vCenter port (phase1.vSphere.port) [443] (NEW) Enterキー
vCenter username (phase1.vSphere.username) [] (NEW) gowatana
vCenter password (phase1.vSphere.password) [] (NEW) パスワード
Does host use self-signed cert (phase1.vSphere.insecure) [Y/n/?] (NEW) Enterキー
Datacenter (phase1.vSphere.datacenter) [datacenter] (NEW) infra-dc-01
Datastore (phase1.vSphere.datastore) [datastore] (NEW) vsanDatastore
Deploy Kubernetes Cluster on 'host' or 'cluster' (phase1.vSphere.placement) [cluster] (NEW) Enterキー
vsphere cluster name. Please make sure that all the hosts in the cluster are time-synchronized otherwise some of the nodes can remain in pending state for ever due to expired certificate (phase1.vSphere.cluster) [] (NEW) infra-cluster-01
Do you want to use the existing resource pool on the host or cluster? [yes, no] (phase1.vSphere.useresourcepool) [no] (NEW) yes
Name of the existing Resource Pool. If Resource pool is enclosed within another Resource pool, specify pool hierarchy as ParentResourcePool/ChildResourcePool (phase1.vSphere.resourcepool) [] (NEW) kube-pool-01
VM Folder name or Path (e.g kubernetes, VMFolder1/dev-cluster, VMFolder1/Test Group1/test-cluster). Folder path will be created if not present (phase1.vSphere.vmfolderpath) [kubernetes] (NEW) 02-Lab/lab-k8s-01
Number of vCPUs for each VM (phase1.vSphere.vcpu) [1] (NEW) 2
Memory for VM (phase1.vSphere.memory) [2048] (NEW) 4096
Network for VM (phase1.vSphere.network) [VM Network] (NEW) vxw-dvs-30-virtualwire-14-sid-10003-ls-lab-k8s-003
Name of the template VM imported from OVA. If Template file is not available at the destination location specify vm path (phase1.vSphere.template) [KubernetesAnywhereTemplatePhotonOS.ova] (NEW) 03-Template/k8s-anywhere-ova
Flannel Network (phase1.vSphere.flannel_net) [172.1.0.0/16] (NEW) Enterキー
*
* Phase 2: Node Bootstrapping
*
kubernetes version (phase2.kubernetes_version) [v1.6.5] (NEW) v1.9.7
bootstrap provider (phase2.provider) [ignition] (NEW) Enterキー
installer container (phase2.installer_container) [docker.io/cnastorage/k8s-ignition:v2] (NEW) docker.io/cnastorage/k8s-ignition:v1.8-dev-release
docker registry (phase2.docker_registry) [gcr.io/google-containers] (NEW) Enterキー
*
* Phase 3: Deploying Addons
*
Run the addon manager? (phase3.run_addons) [Y/n/?] (NEW) Enterキー
Run kube-proxy? (phase3.kube_proxy) [Y/n/?] (NEW) Enterキー
Run the dashboard? (phase3.dashboard) [Y/n/?] (NEW) Enterキー
Run heapster? (phase3.heapster) [Y/n/?] (NEW) Enterキー
Run kube-dns? (phase3.kube_dns) [Y/n/?] (NEW) Enterキー
Run weave-net? (phase3.weave_net) [N/y/?] (NEW) Enterキー
#
# configuration written to .config
#
[container]:/opt/kubernetes-anywhere>
上記の入力により、コンフィグファイル「.config」は下記のように作成されます。
make config を実行せず、下記のファイルを直接作成してもデプロイ可能です。
#
# Automatically generated file; DO NOT EDIT.
# Kubernetes Minimal Turnup Configuration
#
#
# Phase 1: Cluster Resource Provisioning
#
.phase1.num_nodes=4
.phase1.cluster_name="kubernetes"
.phase1.ssh_user=""
.phase1.cloud_provider="vsphere"
#
# vSphere configuration
#
.phase1.vSphere.url="infra-vc-01.go-lab.jp"
.phase1.vSphere.port=443
.phase1.vSphere.username="gowatana"
.phase1.vSphere.password="パスワード"
.phase1.vSphere.insecure=y
.phase1.vSphere.datacenter="infra-dc-01"
.phase1.vSphere.datastore="vsanDatastore"
.phase1.vSphere.placement="cluster"
.phase1.vSphere.cluster="infra-cluster-01"
.phase1.vSphere.useresourcepool="yes"
.phase1.vSphere.resourcepool="kube-pool-01"
.phase1.vSphere.vmfolderpath="02-Lab/lab-k8s-01"
.phase1.vSphere.vcpu=2
.phase1.vSphere.memory=4096
.phase1.vSphere.network="vxw-dvs-30-virtualwire-14-sid-10003-ls-lab-k8s-003"
.phase1.vSphere.template="03-Template/k8s-anywhere-ova"
.phase1.vSphere.flannel_net="172.1.0.0/16"
#
# Phase 2: Node Bootstrapping
#
.phase2.kubernetes_version="v1.9.7"
.phase2.provider="ignition"
.phase2.installer_container="docker.io/cnastorage/k8s-ignition:v1.8-dev-release"
.phase2.docker_registry="gcr.io/google-containers"
#
# Phase 3: Deploying Addons
#
.phase3.run_addons=y
.phase3.kube_proxy=y
.phase3.dashboard=y
.phase3.heapster=y
.phase3.kube_dns=y
# .phase3.weave_net is not set
設定が完了したら、デプロイします。
[container]:/opt/kubernetes-anywhere> make deploy
デプロイが完了したら、kubectl で Kubernetes クラスタの状態を確認します。
環境変数 KUBECONFIG を設定して、クラスタの情報を確認します。
Kubernetes master が起動（running）していることや、Kubernetes ノードの状態が確認できます。
今回は、Worker が 4ノードです。
[container]:/opt/kubernetes-anywhere> export KUBECONFIG=phase1/vsphere/kubernetes/kubeconfig.json
[container]:/opt/kubernetes-anywhere> kubectl cluster-info
Kubernetes master is running at https://10.0.3.121
Heapster is running at https://10.0.3.121/api/v1/namespaces/kube-system/services/heapster/proxy
KubeDNS is running at https://10.0.3.121/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy
To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
[container]:/opt/kubernetes-anywhere> kubectl get nodes
NAME STATUS ROLES AGE VERSION
kubernetes-master Ready,SchedulingDisabled 1m v1.9.7
kubernetes-node1 Ready 1m v1.9.7
kubernetes-node2 Ready 1m v1.9.7
kubernetes-node3 Ready 1m v1.9.7
kubernetes-node4 Ready 1m v1.9.7
[container]:/opt/kubernetes-anywhere>
kubeconfig.json ファイルはコンテナを停止すると削除されてしまうので、
Docker ホストのディレクトリを割り当てている /tmp にコピーしておきます。
[container]:/opt/kubernetes-anywhere> cp phase1/vsphere/kubernetes/kubeconfig.json /tmp/
これで勉強用 Kubernetes が手ごろに作成できるかなと思います。
以上、vSphere に Kubernetes をデプロイしてみる話でした。
https://communities.vmware.com/people/gowatana/blog/2018/08/25/k8s-anywhere
