日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

創(chuàng)建 kube-apiserver.service 文件

• 自定義 系統(tǒng) service 文件一般存于 /etc/systemd/system/ 下
• 配置為 各自的本地IP

[root@mimo222 ~]# vi /etc/systemd/system/kube-apiserver.service


[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target

[Service]
User=root
ExecStart=/usr/local/bin/kube-apiserver \
  --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota,NodeRestriction \   --advertise-address=10.0.11.222 \   --allow-privileged=true \   --apiserver-count=3 \   --audit-policy-file=/etc/kubernetes/audit-policy.yaml \   --audit-log-maxage=30 \   --audit-log-maxbackup=3 \   --audit-log-maxsize=100 \   --audit-log-path=/var/log/kubernetes/audit.log \   --authorization-mode=Node,RBAC \   --anonymous-auth=false \ # 不接受匿名訪問，若為true，則表示接受，此處設(shè)置為false，便于dashboard訪問   --bind-address=0.0.0.0 \   --secure-port=6443 \   --client-ca-file=/etc/kubernetes/ssl/ca.pem \   --enable-swagger-ui=true \   --etcd-cafile=/etc/kubernetes/ssl/ca.pem \   --etcd-certfile=/etc/kubernetes/ssl/etcd.pem \   --etcd-keyfile=/etc/kubernetes/ssl/etcd-key.pem \   --etcd-servers=https://10.0.11.222:2379 \   --event-ttl=1h \   --kubelet-https=true \   --insecure-bind-address=127.0.0.1 \   --insecure-port=8080 \   --service-account-key-file=/etc/kubernetes/ssl/ca-key.pem \   --service-cluster-ip-range=10.254.0.0/16 \   --service-node-port-range=30000-32000 \   --tls-cert-file=/etc/kubernetes/ssl/kubernetes.pem \   --tls-private-key-file=/etc/kubernetes/ssl/kubernetes-key.pem \   --enable-bootstrap-token-auth \   --token-auth-file=/etc/kubernetes/token.csv \   --v=2 Restart=on-failure
RestartSec=5
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

1. --advertise-address：master節(jié)點(diǎn)本機(jī)IP

2. --etcd-servers：etcd URL：etcd集群需要寫上所有etcd節(jié)點(diǎn) URL

3. --service-node-port-range=30000-32000：這個(gè)地方是 映射外部端口時(shí) 的端口范圍，隨機(jī)映射也在這個(gè)范圍內(nèi)映射，指定映射端口必須也在這個(gè)范圍內(nèi)。

4. 注意驗(yàn)證證書等路徑是否正確。

啟動 kube-apiserver

[root@mimo222 ~]# systemctl daemon-reload
[root@mimo222 ~]# systemctl enable kube-apiserver
[root@mimo222 ~]# systemctl start kube-apiserver
[root@mimo222 ~]# systemctl status kube-apiserver

配置 kube-controller-manager

創(chuàng)建 kube-controller-manager.service文件

[root@mimo222 ~]# vi /etc/systemd/system/kube-controller-manager.service


[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/GoogleCloudPlatform/kubernetes

[Service]
ExecStart=/usr/local/bin/kube-controller-manager \
  --address=0.0.0.0 \   --master=http://127.0.0.1:8080 \   --allocate-node-cidrs=true \   --service-cluster-ip-range=10.254.0.0/16 \   --cluster-cidr=10.233.0.0/16 \   --cluster-name=kubernetes \   --cluster-signing-cert-file=/etc/kubernetes/ssl/ca.pem \   --cluster-signing-key-file=/etc/kubernetes/ssl/ca-key.pem \   --service-account-private-key-file=/etc/kubernetes/ssl/ca-key.pem \   --root-ca-file=/etc/kubernetes/ssl/ca.pem \   --leader-elect=true \   --v=2 Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

啟動 kube-controller-manager

[root@mimo222 ~]# systemctl daemon-reload
[root@mimo222 ~]# systemctl enable kube-controller-manager
[root@mimo222 ~]# systemctl start kube-controller-manager
[root@mimo222 ~]# systemctl status kube-controller-manager

配置 kube-scheduler

創(chuàng)建 kube-cheduler.service 文件

[root@mimo222 ~]# vi /etc/systemd/system/kube-scheduler.service


[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/GoogleCloudPlatform/kubernetes

[Service]
ExecStart=/usr/local/bin/kube-scheduler \
  --address=0.0.0.0 \   --master=http://127.0.0.1:8080 \   --leader-elect=true \   --v=2 Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

啟動 kube-scheduler

[root@mimo222 ~]# systemctl daemon-reload
[root@mimo222 ~]# systemctl enable kube-scheduler
[root@mimo222 ~]# systemctl start kube-scheduler
[root@mimo222 ~]# systemctl status kube-scheduler

驗(yàn)證 Master 節(jié)點(diǎn)

[root@mimo222 ssl]# kubectl get componentstatuses
NAME                 STATUS    MESSAGE              ERROR
scheduler            Healthy   ok                   
controller-manager   Healthy   ok                   
etcd-0               Healthy   {"health": "true"} 


# 由于還沒有加入node節(jié)點(diǎn)，所有查詢node時(shí)為空。

[root@mimo222 ssl]# kubectl get nodes
NAME          STATUS    ROLES     AGE       VERSION

flannel安裝配置

kubernetes要求集群內(nèi)各節(jié)點(diǎn)能通過Pod網(wǎng)段互聯(lián)互通，本節(jié)介紹使用Flannel在所有節(jié)點(diǎn) (Master、Node) 上創(chuàng)建互聯(lián)互通的 Pod 網(wǎng)段的步驟。

創(chuàng)建flannel證書

[root@mimo222 ~]# cd /opt/ssl/

[root@mimo222 ~]# vi flanneld-csr.json

# 添加如下內(nèi)容：

{
  "CN": "flanneld",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "ShenZhen",
      "L": "ShenZhen",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

注意：hosts 字段為空。

生成 flanneld 證書和私鑰

[root@mimo222 ~]# cd /opt/ssl

[root@mimo222 ~]# /opt/local/cfssl/cfssl gencert -ca=/opt/ssl/ca.pem \
    -ca-key=/opt/ssl/ca-key.pem \ -config=/opt/ssl/config.json \
    -profile=kubernetes flanneld-csr.json | /opt/local/cfssl/cfssljson -bare flanneld

# 查看生成信息

[root@mimo222 ~]# ll flannel*

-rw-r--r-- 1 root root 1001 Dec 15 13:59 flanneld.csr
-rw-r--r-- 1 root root  223 Dec 15 13:56 flanneld-csr.json
-rw------- 1 root root 1679 Dec 15 13:59 flanneld-key.pem
-rw-r--r-- 1 root root 1395 Dec 15 13:59 flanneld.pem

# 拷貝
[root@mimo222 ~]# cp flanneld*.pem /etc/kubernetes/ssl/

向etcd寫入集群Pod網(wǎng)段信息

注意：本步驟只需在第一次部署 Flannel 網(wǎng)絡(luò)時(shí)執(zhí)行，后續(xù)在其它節(jié)點(diǎn)上部署 Flannel 時(shí)無需再寫入該信息！

etcdctl --endpoints=https://10.0.11.222:2379 \
--ca-file=/opt/ssl/ca.pem \ --cert-file=/etc/kubernetes/ssl/flanneld.pem \ --key-file=/etc/kubernetes/ssl/flanneld-key.pem \ set /kubernetes/network/config '{"Network":"10.233.0.0/16"}'

寫入的 Pod 網(wǎng)段({"Network":"10.233.0.0/16"}) 必須與 kube-controller-manager 的 --cluster-cidr 選項(xiàng)值一致；

安裝和配置flanneld

下載 flanneld

[root@mimo222 ~]# mkdir /tnp/flannel

[root@mimo222 ~]# cd /tmp/flannel

[root@mimo222 ~]# wget https://github.com/coreos/flannel/releases/download/v0.7.1/flannel-v0.7.1-linux-amd64.tar.gz

[root@mimo222 ~]# tar -xzvf flannel-v0.7.1-linux-amd64.tar.gz

[root@mimo222 ~]# cp {flanneld,mk-docker-opts.sh} /usr/local/bin

創(chuàng)建啟動文件flanneld.service

[root@mimo222 ~]# vi /etc/systemd/system/flanneld.service

# 添加以下信息:

[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service

[Service]
Type=notify
ExecStart=/usr/local/bin/flanneld \\
  -etcd-cafile=/etc/kubernetes/ssl/ca.pem \\   -etcd-certfile=/etc/flanneld/ssl/flanneld.pem \\   -etcd-keyfile=/etc/flanneld/ssl/flanneld-key.pem \\   -etcd-endpoints=https://10.0.11.222:2379 \\   -etcd-prefix=/kubernetes/network ExecStartPost=/usr/local/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=on-failure

[Install]
WantedBy=multi-user.target
RequiredBy=docker.service

1. -etcd-endpoints ：填寫etcd配置的URL，注意使用https。

2. -etcd-prefix：上面第一步設(shè)置的Pod網(wǎng)段key前綴。我設(shè)置的key為/kubernetes/network/config，因此前綴為/kubernetes/network。

3. 注意CA驗(yàn)證證書的路徑是否正確。

啟動 flanneld

[root@mimo222 ~]# systemctl daemon-reload 

[root@mimo222 ~]# systemctl enable flanneld

[root@mimo222 ~]# systemctl start flanneld

[root@mimo222 ~]# systemctl status flanneld

etcd中flannel網(wǎng)段信息查詢

對于以下命令，--endpoints參數(shù)后跟的是etcd集群IP:PORT（多個(gè)etcd節(jié)點(diǎn)需填多個(gè)IP:PORT），/kubernetes/network是我這里設(shè)置的FLANNEL_ETCD_PREFIX，因此大家可根據(jù)自己設(shè)置的flannel etcd 前綴來填寫。--ca-file、--cert-file、--key-file是指相應(yīng)flannel證書路徑，若沒有采用CA驗(yàn)證，則不需要。

下面的命令僅是我這里用的一些命令例子，其中參數(shù)需要根據(jù)自己需要修改一下。

查看ETCD中flannel集群 Pod 網(wǎng)段

etcdctl --endpoints=https://10.0.11.222:2379 \
--ca-file=/opt/ssl/ca.pem \ --cert-file=/etc/kubernetes/ssl/flanneld.pem \ --key-file=/etc/kubernetes/ssl/flanneld-key.pem \ get /kubernetes/network/config

{"Network":"10.233.0.0/16"}

查看已分配的 Pod 子網(wǎng)段列表

etcdctl --endpoints=https://10.0.11.222:2379 \
--ca-file=/opt/ssl/ca.pem \ --cert-file=/etc/kubernetes/ssl/flanneld.pem \ --key-file=/etc/kubernetes/ssl/flanneld-key.pem \ ls /kubernetes/network/subnets
 /kubernetes/network/subnets/10.233.50.0-24
/kubernetes/network/subnets/10.233.86.0-24

查看某一 Pod 網(wǎng)段對應(yīng)的 flanneld 進(jìn)程監(jiān)聽的 IP 和網(wǎng)絡(luò)參數(shù)

etcdctl --endpoints=https://10.0.11.222:2379 \
--ca-file=/opt/ssl/ca.pem \ --cert-file=/etc/kubernetes/ssl/flanneld.pem \ --key-file=/etc/kubernetes/ssl/flanneld-key.pem \ get /kubernetes/network/subnets/10.233.50.0-24

{"PublicIP":"10.0.11.221"}

確保各節(jié)點(diǎn)間 Pod 網(wǎng)段能互聯(lián)互通

在各節(jié)點(diǎn)上部署完 Flannel 后，根據(jù)上面命令查看已分配的 Pod 子網(wǎng)段列表（此處是我分配的網(wǎng)段列表）：

/kubernetes/network/subnets/10.233.50.0-24
/kubernetes/network/subnets/10.233.86.0-24

在各節(jié)點(diǎn)上分配 ping 這兩個(gè)網(wǎng)段的網(wǎng)關(guān)地址，確保能通：

ping 10.233.50.1

ping 10.233.86.1

Kubernetes Node節(jié)點(diǎn)安裝配置

kubernetes node節(jié)點(diǎn)需要安裝kubelet、kube-proxy、flannel。下面的配置步驟，指明在master節(jié)點(diǎn)執(zhí)行的需要在master節(jié)點(diǎn)執(zhí)行，沒有指明的在node節(jié)點(diǎn)執(zhí)行。

配置 kubelet（Master節(jié)點(diǎn)執(zhí)行）

kubelet 啟動時(shí)向 kube-apiserver 發(fā)送 TLS bootstrapping 請求，需要先將 bootstrap token文件中的 kubelet-bootstrap 用戶賦予 system:node-bootstrapper 角色，然后 kubelet才有權(quán)限創(chuàng)建認(rèn)證請求(certificatesigningrequests)。

# 先創(chuàng)建認(rèn)證請求
# user 為 master 中 token.csv 文件里配置的用戶
# 只需創(chuàng)建一次就可以

kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

創(chuàng)建 kubelet kubeconfig 文件（Master節(jié)點(diǎn)執(zhí)行）

# 配置集群（server要寫master ip地址，不要使用127.0.0.1或localhost，否則node節(jié)點(diǎn)無法識別）

kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/ssl/ca.pem \   --embed-certs=true \   --server=https://10.0.11.222:6443 \   --kubeconfig=bootstrap.kubeconfig 
# 配置客戶端認(rèn)證（此處的token使用token.csv中的token）

kubectl config set-credentials kubelet-bootstrap \
  --token=3140a1541451afcc87ca7b715f124ce3 \   --kubeconfig=bootstrap.kubeconfig 

# 配置關(guān)聯(lián)

kubectl config set-context default \
  --cluster=kubernetes \   --user=kubelet-bootstrap \   --kubeconfig=bootstrap.kubeconfig 

# 配置默認(rèn)關(guān)聯(lián)
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

# 拷貝生成的 bootstrap.kubeconfig 文件

mv bootstrap.kubeconfig /etc/kubernetes/

配置 kube-proxy（Master節(jié)點(diǎn)執(zhí)行）

創(chuàng)建 kube-proxy 證書（Master節(jié)點(diǎn)執(zhí)行）

[root@mimo222 ~]# cd /opt/ssl

[root@mimo222 ~]# vi kube-proxy-csr.json

{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "TianJin",
      "L": "TianJin",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

生成 kube-proxy 證書和私鑰（Master節(jié)點(diǎn)執(zhí)行）

/opt/local/cfssl/cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \
  -ca-key=/etc/kubernetes/ssl/ca-key.pem \   -config=/opt/ssl/config.json \   -profile=kubernetes kube-proxy-csr.json | /opt/local/cfssl/cfssljson -bare kube-proxy 
# 查看生成
[root@mimo222 ssl]# ll kube-proxy*
-rw-r--r-- 1 root root 1013 Dec 14 20:09 kube-proxy.csr -rw-r--r-- 1 root root 232 Dec 14 20:09 kube-proxy-csr.json -rw------- 1 root root 1679 Dec 14 20:09 kube-proxy-key.pem -rw-r--r-- 1 root root 1407 Dec 14 20:09 kube-proxy.pem 
# 拷貝到目錄
cp kube-proxy*.pem /etc/kubernetes/ssl/

創(chuàng)建 kube-proxy kubeconfig 文件（Master節(jié)點(diǎn)執(zhí)行）

# 配置集群（server要寫master ip地址，不要使用127.0.0.1或localhost，否則node節(jié)點(diǎn)無法識別）

kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/ssl/ca.pem \   --embed-certs=true \   --server=https://10.0.11.222:6443 \   --kubeconfig=kube-proxy.kubeconfig 

# 配置客戶端認(rèn)證（注意證書路徑）

kubectl config set-credentials kube-proxy \
  --client-certificate=/etc/kubernetes/ssl/kube-proxy.pem \   --client-key=/etc/kubernetes/ssl/kube-proxy-key.pem \   --embed-certs=true \   --kubeconfig=kube-proxy.kubeconfig 

# 配置關(guān)聯(lián)

kubectl config set-context default \
  --cluster=kubernetes \   --user=kube-proxy \   --kubeconfig=kube-proxy.kubeconfig 


# 配置默認(rèn)關(guān)聯(lián)
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

# 拷貝到目錄
mv kube-proxy.kubeconfig /etc/kubernetes/

從master節(jié)點(diǎn)拷貝證書

所有需要的證書生成最好都在master節(jié)點(diǎn)進(jìn)行生成，然后統(tǒng)一管理，node節(jié)點(diǎn)需要哪些，直接從master拷貝即可。

[root@mimo222 ~]# mkdir -p /etc/kubernetes/ssl/

[root@mimo222 ~]# cd /etc/kubernetes/

# kubelet kubeconfig 文件
[root@mimo222 ~]# scp 10.0.11.222:/etc/kubernetes/bootstrap.kubeconfig ./

# kube-proxy kubeconfig 文件
[root@mimo222 ~]# scp 10.0.11.222:/etc/kubernetes/kube-proxy.kubeconfig ./

[root@mimo222 ~]# cd /etc/kubernetes/ssl

# kubernetes相關(guān)證書
[root@mimo222 ~]# scp 10.0.11.222:/etc/kubernetes/ssl/ca.pem ./
[root@mimo222 ~]# scp 10.0.11.222:/etc/kubernetes/ssl/kube-proxy.pem ./
[root@mimo222 ~]# scp 10.0.11.222:/etc/kubernetes/ssl/kube-proxy-key.pem ./

# flannel證書
[root@mimo222 ~]# scp 10.0.11.222:/etc/kubernetes/ssl/flanneld-key.pem ./
[root@mimo222 ~]# scp 10.0.11.222:/etc/kubernetes/ssl/flanneld.pem ./

node節(jié)點(diǎn)flannel配置

下載 flanneld

[root@mimo222 ~]# mkdir /tnp/flannel

[root@mimo222 ~]# cd /tmp/flannel

[root@mimo222 ~]# wget https://github.com/coreos/flannel/releases/download/v0.7.1/flannel-v0.7.1-linux-amd64.tar.gz

[root@mimo222 ~]# tar -xzvf flannel-v0.7.1-linux-amd64.tar.gz

[root@mimo222 ~]# cp {flanneld,mk-docker-opts.sh} /usr/local/bin

配置并啟動flanneld

創(chuàng)建啟動文件flanneld.service：

[root@mimo222 ~]# vi /etc/systemd/system/flanneld.service

# 添加以下信息:

[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service

[Service]
Type=notify
ExecStart=/usr/local/bin/flanneld \\
  -etcd-cafile=/etc/kubernetes/ssl/ca.pem \\   -etcd-certfile=/etc/flanneld/ssl/flanneld.pem \\   -etcd-keyfile=/etc/flanneld/ssl/flanneld-key.pem \\   -etcd-endpoints=https://10.0.11.222:2379 \\   -etcd-prefix=/kubernetes/network ExecStartPost=/usr/local/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=on-failure

[Install]
WantedBy=multi-user.target
RequiredBy=docker.service

1. -etcd-endpoints ：填寫etcd配置的URL，注意使用https。

2. -etcd-prefix：上面第一步設(shè)置的Pod網(wǎng)段key前綴。我設(shè)置的key為/kubernetes/network/config，因此前綴為/kubernetes/network。

3. 注意CA驗(yàn)證證書的路徑是否正確。

啟動 flanneld：

[root@mimo222 ~]# systemctl daemon-reload 

[root@mimo222 ~]# systemctl enable flanneld

[root@mimo222 ~]# systemctl start flanneld

[root@mimo222 ~]# systemctl status flanneld

安裝kubelet、kube-proxy

[root@mimo222 ~]# cd /tmp/kubernetes

# master節(jié)點(diǎn)安裝時(shí)使用過這個(gè)文件，拷到node節(jié)點(diǎn)即可
[root@mimo222 ~]# wget https://dl.k8s.io/v1.8.3/kubernetes-server-linux-amd64.tar.gz

[root@mimo222 ~]# tar -xzvf kubernetes-server-linux-amd64.tar.gz

[root@mimo222 ~]# cd kubernetes

[root@mimo222 ~]# cp -r server/bin/{kube-proxy,kubelet} /usr/local/bin/

配置 kubelet.service 文件

[root@mimo222 ~]# mkdir /var/lib/kubelet

[root@mimo222 ~]# vi /etc/systemd/system/kubelet.service

[Unit]
Description=Kubernetes Kubelet
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=docker.service
Requires=docker.service

[Service]
WorkingDirectory=/var/lib/kubelet
ExecStart=/usr/local/bin/kubelet \
  --cgroup-driver=cgroupfs \   --address=10.0.11.221 \   --hostname-override=10.0.11.221 \   --pod-infra-container-image=jicki/pause-amd64:3.0 \   --experimental-bootstrap-kubeconfig=/etc/kubernetes/bootstrap.kubeconfig \   --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \   --cert-dir=/etc/kubernetes/ssl \   --cluster_dns=10.254.0.2 \   --cluster_domain=cluster.local. \   --hairpin-mode promiscuous-bridge \   --allow-privileged=true \   --fail-swap-on=false \   --serialize-image-pulls=false \   --logtostderr=true \   --max-pods=512 \   --v=2 
[Install]
WantedBy=multi-user.target

1. --pod-infra-container-image：該項(xiàng)配置的是pod啟動時(shí)需要一塊啟動的pod-infrastructure鏡像，真實(shí)使用時(shí)最好將該文件下載到本地私有庫，然后將該項(xiàng)配置成私有庫的pod-infrastructure鏡像下載地址。

2. --kubeconfig： kubelet啟動成功之后自動生成的kubelet.kubeconfig文件保存路徑。

啟動 kubelet

[root@mimo222 ~]# systemctl daemon-reload
[root@mimo222 ~]# systemctl enable kubelet
[root@mimo222 ~]# systemctl start kubelet
[root@mimo222 ~]# systemctl status kubelet


# 如果報(bào)錯(cuò) 請使用
journalctl -f -t kubelet  和 journalctl -u kubelet 來定位問題

配置 TLS 認(rèn)證（Master節(jié)點(diǎn)執(zhí)行）

# 查看 csr 的名稱

[root@mimo222 ~]# kubectl get csr

NAME                                                   AGE       REQUESTOR           CONDITION
node-csr-A9WKNWyqyq89XOwg-uqCu2C4fBQEhOhzmlQJ6f8VPWE   22h       kubelet-bootstrap   Approved,Issued
node-csr-J1W94p6S2w0fjTkvpdfG0J-lRY-dmkVFH01OG3R6T4Y   3h        kubelet-bootstrap   Approved,Issued
node-csr-aVIfz5k6GX5jy31z43ZkhxzzLfkFtMUoAkJTi1Okcx8   3h        kubelet-bootstrap   Pending

# 若CONDITION顯示為Pending，可增加認(rèn)證
# 下面的語句是將所有Pending狀態(tài)的csr設(shè)置已認(rèn)證
kubectl get csr | grep Pending | awk '{print $1}' | xargs kubectl certificate approve

驗(yàn)證 nodes（Master節(jié)點(diǎn)執(zhí)行）

kubectl get nodes

NAME          STATUS    ROLES     AGE       VERSION
10.0.11.221   Ready         3h        v1.8.3

node節(jié)點(diǎn)驗(yàn)證

kubelet啟動成功之后，會請求apiserver，通過驗(yàn)證，node節(jié)點(diǎn)本地機(jī)器會自動生成配置文件與密鑰，查看/etc/kubernetes

[root@mimo221 kubernetes]# ll

-rw-------. 1 root root 2195 Dec 15 10:27 bootstrap.kubeconfig
-rw-------. 1 root root 2286 Dec 15 15:43 kubelet.kubeconfig
-rw-------. 1 root root 6305 Dec 15 10:28 kube-proxy.kubeconfig
drwxr-xr-x. 2 root root  202 Dec 15 15:43 ssl

[root@mimo221 kubernetes]# ll ssl |grep kubelet

-rw-r--r--. 1 root root 1046 Dec 15 15:43 kubelet-client.crt
-rw-------. 1 root root  227 Dec 15 15:38 kubelet-client.key
-rw-r--r--. 1 root root 1111 Dec 15 15:38 kubelet.crt
-rw-------. 1 root root 1675 Dec 15 15:38 kubelet.key

配置kube-proxy.service 文件

[root@mimo221 kubernetes]# mkdir -p /var/lib/kube-proxy

[root@mimo221 kubernetes]# vi /etc/systemd/system/kube-proxy.service

[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target

[Service]
WorkingDirectory=/var/lib/kube-proxy
ExecStart=/usr/local/bin/kube-proxy \
  --bind-address=10.0.11.222 \   --hostname-override=k8s-master-64 \   --cluster-cidr=10.254.0.0/16 \   --kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig \   --logtostderr=true \   --v=2 Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

啟動 kube-proxy

[root@mimo221 kubernetes]# systemctl daemon-reload
[root@mimo221 kubernetes]# systemctl enable kube-proxy
[root@mimo221 kubernetes]# systemctl start kube-proxy
[root@mimo221 kubernetes]# systemctl status kube-proxy

# 如果報(bào)錯(cuò) 請使用
journalctl -f -t kube-proxy  和 journalctl -u kube-proxy 來定位問題

到此如果都沒有報(bào)錯(cuò)的話，說明kubernetes1.8.3集群安裝成功了。