Golang-Mix
首页 k8s

基于虚拟机本地搭建 k8s 集群

pyweeX 发布于 06-15
k8s
pyweeX

一、本地先安装vmware
vmware 15比较稳定，我之前安装了17版本，总是说没有权限打开虚拟机，百度了一下各种教程了试了，没用，重装成15，问题解决。
下载地址 https://download3.vmware.com/software/wkst/file/VMware-workstation-full-15.5.0-14665864.exe
参考这里 https://blog.csdn.net/dwh19992018/article/details/129743523

二、选择镜像，我这里用的是centos 7，也是一样，找了一个镜像总是装不上，换了这个，就可以了
https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-Minimal-2207-02.iso?spm=a2c6h.25603864.0.0.6e496aeajdg3uy

安装完成之后，配置网络最重要，在虚拟机上，主要关注网卡配置，我这里以NAT模式为例
vm配置
选中NAT模式，然后点击NAT设置，查看其网关
NAT模式

这里我总共创建了三个虚拟机，现在打开它，先打开master进行安装
虚拟机集群

安装过程就不多说了，安装完成后，修改本机ip

  1. cd /etc/sysconfig/network-scripts
  2. # 找到ifcfg-ensxxxxx
  3. vi ifcfg-ens33

加入以下配置，使用静态IP，以我的为例

  1. # 修改 ONBOOT 为 yes
  2. ONBOOT=yes
  3. # 修改ROOTPROTO 为 static
  4. ROOTPROTO = static
  5. # 加入以下配置，这些配置就是上面图片中的NAT模式下网络的配置
  6. GATEWAY=192.168.147.2
  7. DNS1=8.8.8.8
  8. IPADDR=192.168.147.101

改完之后关机，再外部vmware处再添加一个网卡，使用仅主机模式，如图

VMware网络配置
上图点击确定之后将其设置为仅主机模式，完成后重新启动虚拟机

  1. service network restart
  2. ping www.baidu.com
  3. ping 你的宿主机ip

k8s安装笔记

minikube

只是一个 K8S 集群模拟器，只有一个节点的集群，只为测试用，master 和 worker 都在一起
直接用云平台 Kubernetes
可视化搭建，只需简单几步就可以创建好一个集群。
优点：安装简单，生态齐全，负载均衡器、存储等都给你配套好，简单操作就搞定

minikube

安装非常简单，支持各种平台，安装方法

需要提前安装好 Docker

启动集群

  1. minikube start

查看节点。kubectl 是一个用来跟 K8S 集群进行交互的命令行工具

  1. kubectl get node

停止集群

  1. minikube stop

清空集群

  1. minikube delete --all

安装集群可视化 Web UI 控制台

  1. minikube dashboard

裸机安装（Bare Metal）
至少需要两台机器（主节点、工作节点个一台），需要自己安装 Kubernetes 组件，配置会稍微麻烦点。
可以到各云厂商按时租用服务器，费用低，用完就销毁。
缺点：配置麻烦，缺少生态支持，例如负载均衡器、云存储。

云平台搭建
腾讯云 TKE（控制台搜索容器）
登录阿里云控制台 - 产品搜索 Kubernetes

裸机搭建（Bare Metal）

主节点需要组件
docker（也可以是其他容器运行时）
kubectl 集群命令行交互工具
kubeadm 集群初始化工具
工作节点需要组件 文档
docker（也可以是其他容器运行时）
kubelet 管理 Pod 和容器，确保他们健康稳定运行。
kube-proxy 网络代理，负责网络相关的工作
开始安装
你也可以试下 这个项目，用脚本快速搭建 K8S 裸机集群
当然，为了更好的理解，你应该先手动搭建一次

每个节点分别设置对应主机名(每个节点都要设置)

  1. hostnamectl set-hostname master
  2. hostnamectl set-hostname node1
  3. hostnamectl set-hostname node2

所有节点都修改 hosts 设置成对应的内网地址

  1. vim /etc/hosts
  2. 192.168.147.101 master
  3. 192.168.147.102 node1
  4. 192.168.147.102 node2

所有节点关闭 SELinux

  1. setenforce 0
  2. sed -i --follow-symlinks 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

所有节点确保防火墙关闭

  1. systemctl stop firewalld
  2. systemctl disable firewalld

添加安装源（所有节点）

  1. # 添加 k8s 安装源
  2. cat <<EOF > kubernetes.repo
  3. [kubernetes]
  4. name=Kubernetes
  5. baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
  6. enabled=1
  7. gpgcheck=0
  8. repo_gpgcheck=0
  9. gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  10. EOF
  11. mv kubernetes.repo /etc/yum.repos.d/

添加 Docker 安装源

  1. yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

如果提示找不到 yum-config-manager 命令，可以通过 yum -y install yum-utils 命令安装，所有节点都要安装，然后再执行上面的命令

安装所需组件（所有节点）

  1. yum install -y kubelet-1.22.4 kubectl-1.22.4 kubeadm-1.22.4 docker-ce-20.10.8-3.el7

注意，1.24 以上的版本会报错，跟教程有差异，所以建议大家指定版本号安装。特别是 docker-ce-20.10.8-3.el7 不要轻易修改。

如果提示版本太新，需要手动删除，重装：

  1. yum -y remove docker-ce

卸载完成之后，重新配置 docker yum 源，具体参考这个地址 https://blog.csdn.net/shenyunsese/article/details/125596369

  1. wget -P /etc/yum.repos.d/ https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  2. yum list docker-ce --showduplicates | sort -r

如果你已经根据上面的步骤配置过一次，则此时执行上面的 wget 命令之后，会将 docker-ce.repo 重命名为 repo.1，所以要删除掉之前那个 repo，再将这个重命名为 repo。

执行以下命令重新安装 docker

  1. # 清除 yum 缓存
  2. yum clean all
  3. # 执行 which docker 查找其具体位置，手动删除它的二进制文件。一般会在 /usr/bin 目录下
  4. which docker
  5. # 重新安装指定版本的 docker 该版本测试通过
  6. yum -y install docker-ce-20.10.8-3.el7

修改 docker 配置（所有节点）

  1. # kubernetes 官方推荐 docker 等使用 systemd 作为 cgroupdriver，否则 kubelet 启动不了
  2. cat <<EOF > daemon.json
  3. {
  4.   "exec-opts": ["native.cgroupdriver=systemd"],
  5.   "registry-mirrors": ["https://ud6340vz.mirror.aliyuncs.com"]
  6. }
  7. EOF
  8. mv daemon.json /etc/docker/

启动 kubelet、docker，并设置开机启动（所有节点）

  1. systemctl enable kubelet
  2. systemctl start kubelet
  3. systemctl enable docker
  4. systemctl start docker

重启生效

  1. systemctl daemon-reload
  2. systemctl restart docker

用 kubeadm 初始化集群（注意，仅在主节点跑），

  1. # 初始化集群控制台 Control plane
  2. # 失败了可以用 kubeadm reset 重置
  3. kubeadm init --image-repository=registry.aliyuncs.com/google_containers

上面的命令执行后，一般需要等待一、两分钟，取决于你的网络

记得把 kubeadm join xxx 保存起来

忘记了重新获取：

  1. kubeadm token create --print-join-command

复制授权文件，以便 kubectl 可以有权限访问集群

如果你其他节点需要访问集群，需要从主节点复制这个文件过去其他节点

  1. mkdir -p $HOME/.kube
  2. cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  3. chown $(id -u):$(id -g) $HOME/.kube/config

在其他机器上创建 ~/.kube/config 文件也能通过 kubectl 访问到集群

有兴趣了解 kubeadm init 具体做了什么的，可以 查看文档

把工作节点加入集群（只在工作节点跑），也就是刚刚保存下来的数据在工作节点上运行一下

  1. kubeadm join 172.16.32.10:6443 --token xxx --discovery-token-ca-cert-hash xxx

在子节点运行成功之后，可以在 master 节点查看验证一下

  1. kubectl get node

此时所有的节点都会是 NotReady 状态，这时候还需要安装网络插件，否则 node 是 NotReady 状态（在主节点跑）

很有可能国内网络访问不到这个资源，你可以网上找找国内的源安装 flannel

  1. kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

如果上面的插件安装失败，可以选用 Weave，下面的命令二选一就可以了。

  1. kubectl apply -f https://github.com/weaveworks/weave/releases/download/v2.8.1/weave-daemonset-k8s.yaml
  2. kubectl apply -f http://static.corecore.cn/weave.v2.8.1.yaml

上面的命令直接执行都不行，所以应该用手动的方式操作

  1. # 手动下载配置文件 自己找个合适的目录保存该文件
  2. wget https://github.com/weaveworks/weave/releases/download/v2.8.1/weave-daemonset-k8s.yaml
  3. # 下载完之后最好改一下名称
  4. mv weave-daemonset-k8s.yaml kube-flannel.yaml
  5. # 应用这个配置
  6. kubectl apply -f kube-flannel.yaml

或者使用这个配置

  1. ---
  2. kind: Namespace
  3. apiVersion: v1
  4. metadata:
  5.   name: kube-flannel
  6.   labels:
  7.     pod-security.kubernetes.io/enforce: privileged
  8. ---
  9. kind: ClusterRole
  10. apiVersion: rbac.authorization.k8s.io/v1
  11. metadata:
  12.   name: flannel
  13. rules:
  14. - apiGroups:
  15.   - ""
  16.   resources:
  17.   - pods
  18.   verbs:
  19.   - get
  20. - apiGroups:
  21.   - ""
  22.   resources:
  23.   - nodes
  24.   verbs:
  25.   - list
  26.   - watch
  27. - apiGroups:
  28.   - ""
  29.   resources:
  30.   - nodes/status
  31.   verbs:
  32.   - patch
  33. ---
  34. kind: ClusterRoleBinding
  35. apiVersion: rbac.authorization.k8s.io/v1
  36. metadata:
  37.   name: flannel
  38. roleRef:
  39.   apiGroup: rbac.authorization.k8s.io
  40.   kind: ClusterRole
  41.   name: flannel
  42. subjects:
  43. - kind: ServiceAccount
  44.   name: flannel
  45.   namespace: kube-flannel
  46. ---
  47. apiVersion: v1
  48. kind: ServiceAccount
  49. metadata:
  50.   name: flannel
  51.   namespace: kube-flannel
  52. ---
  53. kind: ConfigMap
  54. apiVersion: v1
  55. metadata:
  56.   name: kube-flannel-cfg
  57.   namespace: kube-flannel
  58.   labels:
  59.     tier: node
  60.     app: flannel
  61. data:
  62.   cni-conf.json: |
  63.     {
  64.       "name": "cbr0",
  65.       "cniVersion": "0.3.1",
  66.       "plugins": [
  67.         {
  68.           "type": "flannel",
  69.           "delegate": {
  70.             "hairpinMode": true,
  71.             "isDefaultGateway": true
  72.           }
  73.         },
  74.         {
  75.           "type": "portmap",
  76.           "capabilities": {
  77.             "portMappings": true
  78.           }
  79.         }
  80.       ]
  81.     }
  82.   net-conf.json: |
  83.     {
  84.       "Network": "10.244.0.0/16",
  85.       "Backend": {
  86.         "Type": "vxlan"
  87.       }
  88.     }
  89. ---
  90. apiVersion: apps/v1
  91. kind: DaemonSet
  92. metadata:
  93.   name: kube-flannel-ds
  94.   namespace: kube-flannel
  95.   labels:
  96.     tier: node
  97.     app: flannel
  98. spec:
  99.   selector:
  100.     matchLabels:
  101.       app: flannel
  102.   template:
  103.     metadata:
  104.       labels:
  105.         tier: node
  106.         app: flannel
  107.     spec:
  108.       affinity:
  109.         nodeAffinity:
  110.           requiredDuringSchedulingIgnoredDuringExecution:
  111.             nodeSelectorTerms:
  112.             - matchExpressions:
  113.               - key: kubernetes.io/os
  114.                 operator: In
  115.                 values:
  116.                 - linux
  117.       hostNetwork: true
  118.       priorityClassName: system-node-critical
  119.       tolerations:
  120.       - operator: Exists
  121.         effect: NoSchedule
  122.       serviceAccountName: flannel
  123.       initContainers:
  124.       - name: install-cni-plugin
  125.        #image: flannelcni/flannel-cni-plugin:v1.1.0 for ppc64le and mips64le (dockerhub limitations may apply)
  126.         image: docker.io/rancher/mirrored-flannelcni-flannel-cni-plugin:v1.1.0
  127.         command:
  128.         - cp
  129.         args:
  130.         - -f
  131.         - /flannel
  132.         - /opt/cni/bin/flannel
  133.         volumeMounts:
  134.         - name: cni-plugin
  135.           mountPath: /opt/cni/bin
  136.       - name: install-cni
  137.        #image: flannelcni/flannel:v0.19.0 for ppc64le and mips64le (dockerhub limitations may apply)
  138.         image: docker.io/rancher/mirrored-flannelcni-flannel:v0.19.0
  139.         command:
  140.         - cp
  141.         args:
  142.         - -f
  143.         - /etc/kube-flannel/cni-conf.json
  144.         - /etc/cni/net.d/10-flannel.conflist
  145.         volumeMounts:
  146.         - name: cni
  147.           mountPath: /etc/cni/net.d
  148.         - name: flannel-cfg
  149.           mountPath: /etc/kube-flannel/
  150.       containers:
  151.       - name: kube-flannel
  152.        #image: flannelcni/flannel:v0.19.0 for ppc64le and mips64le (dockerhub limitations may apply)
  153.         image: docker.io/rancher/mirrored-flannelcni-flannel:v0.19.0
  154.         command:
  155.         - /opt/bin/flanneld
  156.         args:
  157.         - --ip-masq
  158.         - --kube-subnet-mgr
  159.         resources:
  160.           requests:
  161.             cpu: "100m"
  162.             memory: "50Mi"
  163.           limits:
  164.             cpu: "100m"
  165.             memory: "50Mi"
  166.         securityContext:
  167.           privileged: false
  168.           capabilities:
  169.             add: ["NET_ADMIN", "NET_RAW"]
  170.         env:
  171.         - name: POD_NAME
  172.           valueFrom:
  173.             fieldRef:
  174.               fieldPath: metadata.name
  175.         - name: POD_NAMESPACE
  176.           valueFrom:
  177.             fieldRef:
  178.               fieldPath: metadata.namespace
  179.         - name: EVENT_QUEUE_DEPTH
  180.           value: "5000"
  181.         volumeMounts:
  182.         - name: run
  183.           mountPath: /run/flannel
  184.         - name: flannel-cfg
  185.           mountPath: /etc/kube-flannel/
  186.         - name: xtables-lock
  187.           mountPath: /run/xtables.lock
  188.       volumes:
  189.       - name: run
  190.         hostPath:
  191.           path: /run/flannel
  192.       - name: cni-plugin
  193.         hostPath:
  194.           path: /opt/cni/bin
  195.       - name: cni
  196.         hostPath:
  197.           path: /etc/cni/net.d
  198.       - name: flannel-cfg
  199.         configMap:
  200.           name: kube-flannel-cfg
  201.       - name: xtables-lock
  202.         hostPath:
  203.           path: /run/xtables.lock
  204.           type: FileOrCreate

如果上面的操作顺利，通过以下命令检查节点和pod状态

  1. kubectl get pods --all-namespaces
  2. kubectl get nodes

更多其他网路插件查看下面介绍，自行网上找 yaml 安装

https://blog.csdn.net/ChaITSimpleLove/article/details/117809007
请注意，flannel 插件很多人都安装不上（因为网络问题），这样会导致后面名字访问服务用不了，
大家可以改用 weave 或者使用香港服务器或者寻找国内的源安装

查看节点，要在主节点查看（其他节点有安装 kubectl 也可以查看）
k8s节点查看

k8s

声明: 因编程语言版本更新较快，当前文章所涉及的语法或某些特性相关的信息并不一定完全适用于您当前所使用的版本，请仔细甄别。文章内容仅作为学习和参考，若有错误，欢迎指正。

讨论 支持 Markdown 语法 点击演示
回复
评论预览框
#1 pyweeX 06-20 管理员 golang-pyweeX

节点运行 kubeadm join 命令时报错 [ERROR FileContent—proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1
此时手动添加一个命令即可解决

echo “1” >/proc/sys/net/bridge/bridge-nf-call-iptables

回复 赞(0)

#2 pyweeX 06-29 管理员 golang-pyweeX

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed ‘s/^.* //‘

回复 赞(0)

开发者

专题·造轮子

利用Go语言编写一个搜索引擎

k8s·热门
Docker容器间网络互通

Docker容器间网络互通

MySQL面试题，亿级数据库分表方案

MySQL面试题，亿级数据库分表方案

相关文章
开发者·注册登录
  • 获取验证码
  • 取消