kubeadm部署kubernetes集群

部署環(huán)境

本文中未加明顯說明，將在所有機(jī)器上操作
系統(tǒng)環(huán)境: CetntOS 7
Docker版本：ce-v18.09.5
kubeneter版本: v1.14.1

安裝前準(zhǔn)備

1、關(guān)閉所有機(jī)器的防火墻

$ systemctl stop firewalld   $ systemctl disable firewalld  $ iptables -F

2、關(guān)閉所有服務(wù)器selinux

$ setenforce 0  $ sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config 

3、關(guān)閉所有服務(wù)器的交換分區(qū)(swap)

$ swapoff -a  $ sed -ri 's/.*swap.*/#&/' /etc/fstab

4、添加主機(jī)hosts記錄

$ vim /etc/hosts  192.168.1.21  k8s-master  192.168.1.22  k8s-node01  192.168.1.23  k8s-node02

5、其他

$ echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables

部署Docker環(huán)境

所有節(jié)點(diǎn)都安裝

1、卸載舊的docker環(huán)境

$ yum remove docker             docker-client             docker-client-latest             docker-common             docker-latest             docker-latest-logrotate             docker-logrotate             docker-engine

2、安裝依賴

$ yum install -y yum-utils     device-mapper-persistent-data     lvm2

3、添加docker yum源

$ yum-config-manager       --add-repo       https://download.docker.com/linux/CentOS/docker-ce.repo

4、安裝docker ce

$ yum install docker-ce docker-ce-cli containerd.io

5、添加系統(tǒng)服務(wù)并啟動(dòng)

$ systemctl enable docker  $ systemctl start docker

6、添加鏡像加速器

使用Daocloud提供的鏡像加速服務(wù)

$ curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io  $ systemctl restart docker

7、驗(yàn)證docker

$ docker run --rm hello-world

部署k8s環(huán)境

1、安裝組件(kubelet、kubeadm、kubectl)

所有節(jié)點(diǎn)都需要安裝
kubelet運(yùn)行在Cluster所有節(jié)點(diǎn)上，負(fù)責(zé)啟動(dòng)Pod和容器。
kubeadm用于初始化Cluster。
kubect I是Kubernetes命令行工具。通過kubectI可以部署和管理
應(yīng)用，查看各種資源，創(chuàng)建、刪除和更新各種組件。

a. 添加安裝組件yum源

如果機(jī)器可以FQ，則可以直接使用一下命令安裝

$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo  [kubernetes]  name=Kubernetes  baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64  enabled=1  gpgcheck=1  repo_gpgcheck=1  gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg  EOF

推薦安裝（使用阿里鏡像安裝）

$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo  [kubernetes]  name=Kubernetes  baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64  enabled=1  gpgcheck=1  repo_gpgcheck=1  gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg  EOF

b. 安裝

$ yum install -y kubelet kubeadm kubectl

2、下載k8s所需要的鏡像

此處鏡像使用阿里云構(gòu)建的國內(nèi)鏡像源，由于k8s版本過高docker官網(wǎng)提供的倉庫缺少部分指定版本的鏡像

鏡像映射文件

$ vim images  k8s.gcr.io/kube-apiserver:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-apiserver:v1.14.1  k8s.gcr.io/kube-controller-manager:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-controller-manager:v1.14.1  k8s.gcr.io/kube-scheduler:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-scheduler:v1.14.1  k8s.gcr.io/kube-proxy:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-proxy:v1.14.1  k8s.gcr.io/pause:3.1=registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1  k8s.gcr.io/etcd:3.3.10=registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.3.10  k8s.gcr.io/coredns:1.3.1=registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.3.1  quay.io/coreos/flannel:v0.11.0-amd64=registry.cn-beijing.aliyuncs.com/musker/flannel:v0.11.0-amd64

鏡像下載腳本

$ vim load_images.sh  #/bin/bash  file="images"  if [ -f "$file" ]  then    echo "$file found."    while IFS='=' read -r key value    do      #echo "${key}=${value}"      docker pull ${value}      docker tag ${value} ${key}      docker rmi ${value}    done < "$file"  else    echo "$file not found."  fi

下載鏡像

$ chmod +x load_images.sh  $ ./load_images.sh

3、初始化master(master節(jié)點(diǎn)執(zhí)行)

$ kubeadm init --apiserver-advertise-address=192.168.1.21 --pod-network-cidr=10.224.0.0/16    參數(shù)解釋：      --apiserver-advertise-address      指定master的那個(gè)interface與cluster的其他節(jié)點(diǎn)通信，如果master有多個(gè)interface，建議明確指定，如果不指定，kubeadm回自動(dòng)選擇有默認(rèn)網(wǎng)關(guān)的interface      --pod-network-cidr      指定pod網(wǎng)絡(luò)的范圍。kubernetes支持多種網(wǎng)絡(luò)方案，而且不網(wǎng)絡(luò)方案對(duì)此參數(shù)有自己的要求，這里設(shè)置10.224.0.0/16是因?yàn)楸疚膶⑹褂胒lannel網(wǎng)絡(luò)方案，必須設(shè)置成這個(gè)CIDR。

kubeadm初始化過程:

(1) kubeadm執(zhí)行初始化前的檢查

(2) 生成token和證書。

(3) 生成Kube Config文件，kubelet需要用這個(gè)文件與Master通信。

(4) 安裝Master組件，會(huì)從Google的 Registry下載組件的 Docker鏡像。這一步可能會(huì)花一些時(shí)間，主要取決于網(wǎng)絡(luò)質(zhì)量(本文中提前下載好了鏡像，所以此步驟很快)。

(5) 安裝附加組件kube-proxy和kube-dns。

(6) Kubernetes Master初始化成功。

(7) 提示如何配置kubectl。

(8) 提示如何安裝Pod 網(wǎng)絡(luò)。

(9) 提示如何注冊(cè)其他節(jié)點(diǎn)到Cluster。

4、配置kubectl(master節(jié)點(diǎn)執(zhí)行)

這里創(chuàng)建一個(gè)k8s的普通用戶來執(zhí)行kubectl命令(root會(huì)有一些問題)

$ useradd k8s  $ passwd k8s  $ mkdir -p /home/k8s/.kube  $ cp -i /etc/kubernetes/admin.conf /home/k8s/.kube/config  $ chown k8s:k8s /home/k8s/.kube/config

添加命令行提示

$ yum -y install bash-completion  $ echo "source < (kubectl completion bash)" >> ~/.bashrc

現(xiàn)在可以使用tab鍵快速補(bǔ)全命令

5、安裝pod網(wǎng)絡(luò)(master節(jié)點(diǎn)執(zhí)行)

支持kubernetes cluster 之間pod網(wǎng)絡(luò)通信，kubernetes支持多種網(wǎng)絡(luò)，本文使用flannel網(wǎng)絡(luò)。

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

6、將node節(jié)點(diǎn)添加到kubernetes集群(node節(jié)點(diǎn)執(zhí)行)

$ kubeadm join --token 172awr.uqxymof1vveznmtr 192.168.1.21:6443

如果出現(xiàn)以下錯(cuò)誤，說明需要進(jìn)行ca校驗(yàn)可以使用–discovery-token-unsafe-skip-ca-verification參數(shù)忽略校驗(yàn)

discovery.bootstrapToken: Invalid value: "": using token-based discovery without caCertHashes can be unsafe. Set unsafeSkipCAVerification to continue

這里指定的–token來自前面kubeadm init執(zhí)行后輸出的信息。如果沒有記錄可以通過kubeadm token list進(jìn)行查看。最后一個(gè)參數(shù)是指定master節(jié)點(diǎn)的ip和k8s api(https)端口

$ kubeadm token list  TOKEN                     TTL       EXPIRES                     USAGES                   DESCRIPTION                                                EXTRA GROUPS  172awr.uqxymof1vveznmtr   8h        2019-05-07T18:22:38+08:00   authentication,signing   The default bootstrap token generated by 'kubeadm init'.   system:bootstrappers:kubeadm:default-node-token

7、驗(yàn)證集群狀態(tài)(master節(jié)點(diǎn)執(zhí)行)

查看各個(gè)節(jié)點(diǎn)的狀態(tài)

$ kubectl get nodes  NAME         STATUS     ROLES    AGE   VERSION  k8s-master   Ready      master   15h   v1.14.1  k8s-node01   NotReady   <none>   22m   v1.14.1  k8s-node02   NotReady   <none>   22m   v1.14.1

如果發(fā)現(xiàn)節(jié)點(diǎn)狀態(tài)為NotReady，這是因?yàn)槊總€(gè)節(jié)點(diǎn)都需要啟動(dòng)若干個(gè)組件，這些組件都是在Pod中運(yùn)行，需要首先從google下載鏡像。可以通過以下命令查看Pod狀態(tài)

$ kubectl get pod --all-namespaces

Pending、Container Creating、Image Pullbackoff 都表明 Pod 沒有就緒，Runningオ是就緒狀態(tài)。我們可以通過 kubectl describe pod <Pod Name>查看 Pod 的具體情況

$ kubectl describe pod  kube-flannel-ds-amd64-7kjsk --namespace=kube-system

等待一段時(shí)間，Image 成功下載后，所有 Pod 都會(huì)處于 Running 狀態(tài)。如果鏡像下載失敗，我們需要手動(dòng)的去docker pull鏡像(參考本節(jié)第二部分)。

再通過kubectl get nodes命令查看節(jié)點(diǎn)狀態(tài)，所有節(jié)點(diǎn)均處于Ready狀態(tài)表示kubernetes cluster集群創(chuàng)建成功。

$ kubectl get nodes  NAME         STATUS   ROLES    AGE   VERSION  k8s-master   Ready    master   15h   v1.14.1  k8s-node01   Ready    <none>   33m   v1.14.1  k8s-node02   Ready    <none>   33m   v1.14.1

8、創(chuàng)建pod驗(yàn)證集群可用性

a. 創(chuàng)建nginx pod容器

$ kubectl run nginx-deployment --image=nginx:1.16.0 --port=80 --replicas=3

b. 查看pod狀態(tài)

$ kubectl get pods  NAME                                READY   STATUS    RESTARTS   AGE  nginx-deployment-6dcd798fd8-77s9l   1/1     Running   0          99s  nginx-deployment-6dcd798fd8-g5v2c   1/1     Running   0          99s  nginx-deployment-6dcd798fd8-qc64z   1/1     Running   0          99s

c.暴露nginx外部訪問端口

$ kubectl expose deployment/nginx-deployment --type="NodePort" --port 80  $ kubectl get service  NAME               TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE  nginx-deployment   NodePort    10.105.86.75   <none>        80:30939/TCP   9s

d. 訪問驗(yàn)證

$ curl -I http://127.0.0.1:30939