Docker$Kubernetes笔记---01---Kubernetes的集群部署

k8s：kubernetes，因为k和s之间，有8个字母，所以通常又称为K8S。用来对容器进行调度和管理的，即用来对容器进行编排的。

CRI：容器运行时接口   container runtime interface

CNI： Container Network Interface 的缩写，它是一个用于定义和配置容器网络的标准接口。CNI 插件负责为容器设置网络连接，以使容器可以与其他容器和外部网络通信。

containerd：containerd 是一个开源的容器运行时，由 Docker 团队维护。它负责容器的生命周期管理，包括创建、运行、停止和删除容器，以及镜像管理等。containerd 是 cri-containerd-cni 的核心组件，用于运行和管理容器。

CNI 插件（Container Network Interface 插件）：CNI 插件是一组用于配置容器网络的插件，使容器能够与其他容器和外部网络进行通信。cri-containerd-cni 包括一组 CNI 插件，用于为容器配置网络，以确保它们可以正常工作。

crictl：crictl 是一个命令行工具，用于与 Kubernetes CRI（Container Runtime Interface）兼容的容器运行时进行交互。它允许管理员执行容器运行时操作，如创建、启动、停止和查看容器等。crictl 通常包括在 cri-containerd-cni 中，以便管理员可以与容器运行时交互。

Kubernetes CRI 接口（gRPC API）：cri-containerd-cni 实现了 Kubernetes CRI 接口，这是 Kubernetes 控制平面与容器运行时之间的标准通信协议。它定义了 Kubernetes 控制平面如何与容器运行时进行交互，以管理容器。

cri-containerd-cni：cri-containerd-cni组件包含了containerd、CNI 插件（Container Network Interface 插件）、crictl、Kubernetes CRI 接口（gRPC API）

OCI 标准：runc 遵循 OCI 标准，这意味着它可以与符合 OCI 标准的容器镜像一起使用。这有助于确保容器可以在不同的容器运行时中运行，而无需修改容器镜像。

容器运行时：runc 是一个容器运行时，负责创建和运行容器。它提供了一种将容器启动的底层方法，但不提供高级容器编排功能。因此，通常需要与容器编排工具（如 Kubernetes、Docker Compose 等）一起使用，以实现容器的自动化部署和管理。

轻量级：runc 设计简单，轻量级，专注于容器的生命周期管理。它的目标是提供一个标准的接口，以便与各种容器编排平台和工具集成。

安全性：runc 非常关注安全性，它采用了许多安全机制，以确保容器在运行时的隔离性和安全性。这包括使用 Linux 的命名空间、控制组（cgroup）、Seccomp 等特性来隔离容器。

可移植性：runc 的标准接口使得容器可以在不同的容器运行时中运行，从而实现容器的可移植性。这有助于避免对特定容器运行时的依赖性。

runc：runc 是一个用于运行容器的命令行工具，它是 OCI（Open Container Initiative）标准的一部分，用于创建和运行容器。OCI 是一个定义容器规范的开放标准，旨在提供容器格式和运行时的一致性，以确保容器在不同容器运行时中具有可移植性。它通常用于容器运行时的创建和管理，但不包括高级容器编排功能，如容器编排、服务发现等。runc 主要关注容器的生命周期管理和资源隔离。

兼容性：nerdctl 旨在与 Docker CLI 兼容，因此您可以使用类似的命令和选项来运行容器。这使得迁移到 nerdctl 相对容易，尤其是对于那些习惯于使用 Docker CLI 的用户。

依赖于 containerd：与 Docker 不同，nerdctl 不使用 Docker 引擎，而是依赖于 containerd。这意味着它可以提供更轻量级的容器运行时，同时保持 Docker 命令的兼容性。

支持 OCI 标准：nerdctl 遵循 OCI（Open Container Initiative）标准，这是一个定义容器规范的开放标准。这使得它可以与符合 OCI 标准的容器镜像一起使用。

不需要 root 权限：nerdctl 允许非特权用户运行容器，因此不需要 root 权限。这有助于提高安全性。

可用选项和功能：nerdctl 支持常见的 Docker 命令，如 run、build、ps 等，以及一些其他功能，例如多阶段构建、GPU 支持等。

nerdctl：nerdctl 是一个用于运行容器的命令行工具，它是 containerd 的封装器，旨在提供与 Docker CLI 相似的用户体验。nerdctl 可以用来管理和运行容器，而无需完全依赖于 Docker CLI。

crictl：crictl 是一个命令行工具，用于与 Kubernetes CRI（Container Runtime Interface）兼容的容器运行时进行交互。它允许您在 Kubernetes 集群中执行容器运行时操作，如创建、启动、停止、删除容器，查看容器状态以及获取容器日志等。

kubeadm（Kubernetes Admin）:作用：kubeadm 是一个命令行工具，用于快速部署和初始化 Kubernetes 集群。它可以帮助管理员在不同的环境中设置 Kubernetes 主控节点（Master Node）。用途：通常用于在新的集群中创建和配置 Master 节点，以便其他节点可以加入集群。kubeadm 可以自动处理大部分复杂的初始化工作。

kubelet：作用：kubelet 是每个 Kubernetes 节点上运行的主要代理。它负责维护节点的容器生命周期，确保容器正常运行。kubelet 还与 Master 节点通信，确保节点的状态和资源使用信息被汇报到集群的控制平面。用途：kubelet 用于在节点上管理容器，它会监控 Pod 的创建、更新和销毁，并确保它们的状态与期望状态一致。

kubectl：作用：kubectl 是 Kubernetes 集群的命令行客户端工具，用于与集群进行交互。管理员和开发人员可以使用 kubectl 执行各种操作，如创建、管理和监视 Kubernetes 资源（如 Pod、Service、Deployment 等）。用途：kubectl 允许用户执行各种操作，包括创建和部署应用程序、查看集群状态、调试故障、扩展集群等。

kubeadm，kubelet 和 kubectl

K8S在1.24版本开始直接把dockershim代码删除了，直接弃用了docker；前因后果可以查看这篇文档：https://www.cnblogs.com/1234roro/p/16892031.html

Alpha 阶段：在 Alpha 阶段，软件处于早期开发阶段，通常由内部开发团队进行测试。这个阶段的软件可能存在许多缺陷和问题，并且不适合正式发布给外部用户。Alpha 阶段的主要目标是内部测试和探索，以发现和修复问题。

Beta 阶段在 Beta 阶段，软件已经发展到足够成熟的程度，可以在有限的用户群体中进行测试。这些用户可能是开发者、测试人员或愿意承担一些风险的终端用户。在 Beta 阶段，软件可能仍然存在某些问题，但已经经过了内部 Alpha 测试，并进行了一些修复和改进。

Stable 阶段在 Stable 阶段，软件已经经历了广泛的测试，包括 Beta 测试和可能的公开测试。在这个阶段，软件被认为是相对稳定和可靠的，并且适合正式发布和广泛使用。稳定版本的软件应该在性能、安全性和可用性方面经过了充分验证。

概念及组件、工具解释

如果之前有安装过docker的可以用以下命令移除掉旧版本yum remove docker \\ docker-client \\ docker-client-latest \\ docker-common \\ docker-latest \\ docker-latest-logrotate \\ docker-logrotate \\ docker-selinux \\ docker-engine-selinux \\ docker-engine

删除所有旧的数据rm -rf /var/lib/docker

安装依赖包yum install -y yum-utils device-mapper-persistent-data lvm2

添加docker的yum源，这里使用阿里云的镜像yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

配置缓存yum makecache fast

安装最新稳定版本的dockeryum install -y docker-ce

配置镜像加速器mkdir -p /etc/dockercat <<EOF > /etc/docker/daemon.json{\"registry-mirrors\": [\"https://aoewjvel.mirror.aliyuncs.com\"]}EOF

启动docker引擎并设置开机启动systemctl start dockersystemctl enable docker

查看docker当前的历史版本并使其倒叙排序，最新的在最上面yum list docker-ce --showduplicates | sort -r

Docker安装部署---安装最新版本

安装指定版本的dockeryum install -y docker-ce-20.10.24 docker-ce-cli-20.10.24 containerd.io

Docker安装部署---安装指定版本

安装常用工具，更改系统的默认yum源yum install -y wgetmv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupwget http://mirrors.163.com/.help/CentOS7-Base-163.repo -O /etc/yum.repos.d/CentOS-Base.repoyum install -y vim

关闭系统自带的防火墙systemctl stop firewalld && systemctl disable firewalldsetenforce 0 && sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

设置hostname，此处以1.197为master节点，其他两台为从节点echo -e \"192.168.1.197 master\192.168.1.198 node01\192.168.1.199 node02\" >> /etc/hosts

关闭交换分区swapoff -a && sed -i '/ swap / s/^\\(.*\\)$/#\\1/g' /etc/fstab

配置时间服务器并同步时间yum install -y ntpntpdate ntp.aliyun.com

添加网桥过滤和地址转发功能cat <<EOF > /etc/sysctl.d/kubernetes.confnet.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1EOF重新加载配置：sysctl -p

加载网桥过滤器模块modprobe br_netfilter

查看网桥过滤器模块是否加载成功lsmod | grep br_netfilter

配置ipvs安装ipset和ipvsadm软件yum -y install ipset ipvsadm添加需要加载的模块写入脚本文件cat > /etc/sysconfig/modules/ipvs.modules <<EOFmodprobe -- ip_vsmodprobe -- ip_vs_rrmodprobe -- ip_vs_wrrmodprobe -- ip_vs_shmodprobe -- nf_conntrack_ipv4EOF设置脚本权限chmod +x /etc/sysconfig/modules/ipvs.modules执行脚本/etc/sysconfig/modules/ipvs.modules查看对应的模块是否加载成功lsmod | grep -e ip_vs -e nf_conntrack_ipv4

重启系统，使之前的配置生效 reboot

配置部署所需基础环境

为什么部署K8S要安装容器Kubernetes（简称k8s）是一个开源的容器编排平台，由Google发起并开源。它用于自动化容器化应用程序的部署、扩展和管理。Kubernetes支持多种容器运行时技术，其中最为广泛使用的就是Docker。通过Kubernetes，我们可以对容器进行分布式管理，实现容器的高可用、负载均衡和故障恢复等功能。

Kubernetes 的两种调用链1：用 CRI 接口调用 dockershim，然后 dockershim 调用 Docker，Docker 再走 containerd 去操作容器。2：用 CRI 接口直接调用 containerd 去操作容器。

安装完docker后在启动docker前需要更改以下配置，cat <<EOF > /etc/docker/daemon.json{\"registry-mirrors\": [\"https://aoewjvel.mirror.aliyuncs.com\

方法一：安装docker，步骤参考上面的docker安装部署

选择所需的版本，点击进去拉倒最下面找对应的安装包，此处以为例：https://github.com/containerd/containerd/releases/download/v1.6.23/cri-containerd-cni-1.6.23-linux-amd64.tar.gzwget https://github.com/containerd/containerd/releases/download/v1.6.23/cri-containerd-cni-1.6.23-linux-amd64.tar.gz

可以使用下列命令直接将安装包解压至根目录，但如果已经存文同名文件会直接覆盖掉，存在一定的风险。可以参考这个文档：https://www.cnblogs.com/zjl-throb/p/16528463.htmltar -zxvf cri-containerd-cni-1.6.23-linux-amd64.tar.gz -C /vim /etc/profileexport PATH=$PATH:/usr/local/bin:/usr/local/sbinsource /etc/profile

但推荐先解压至指定目录 然后再将下列文件复制到对应的目录即可：可以参考这个文档中第三点：https://blog.51cto.com/flyfish225/5360370mkdir containerdtar -zxvf cri-containerd-cni-1.6.23-linux-amd64.tar.gz -C containerdcp -p /root/containerd/usr/local/bin/* /usr/local/bin/cp -p /root/containerd/etc/systemd/system/containerd.service /usr/lib/systemd/system/chmod +x /usr/lib/systemd/system/containerd.service

下载containerd 的二进制包并解压

root 和 state这些是 containerd 使用的文件系统根目录和运行时状态目录的路径。通常，/var/lib/containerd 是存储容器和运行时数据的根目录，而 /run/containerd 用于存储运行时状态

grpc这部分配置了 gRPC 通信的相关参数，包括 gRPC 通信的地址和一些身份验证和安全性设置。

cni这部分包含 CNI（Container Network Interface） 插件的配置，用于容器的网络设置。它指定了 CNI 插件的二进制文件路径和配置文件路径。

containerd.default_runtime这是容器的默认运行时配置，包括默认的运行时名称、容器注释等。

containerd.runtimes这部分配置了不同运行时的选项，包括 runc 运行时和它的选项。

containerd.snapshotter这部分配置了容器快照（snapshot）的存储后端，包括 aufs、btrfs、overlayfs、zfs 等。

stream_processors这部分配置了容器图像流处理器，用于处理加密的容器图像流。

timeouts这部分配置了容器操作的超时时间，以确保容器操作在合理的时间内完成。

ttrpc这是 ttrpc（Type-Transparent Remote Procedure Call）通信的配置，它用于 containerd 内部的通信。

配置文件的部分解释

更改容器的 cgroup driver将SystemdCgroup = false改成true

更改进项仓库的加速器原本是国外镜像：sandbox_image = \"registry.k8s.io/pause:3.6\"可以改成sandbox_image = \"registry.aliyuncs.com/google_containers/pause:3.9\" PS:这里pause:3.9的版本可以根据下面kubeadm config images list获取的版本来定，当前用的1.28.2版本对应的是3.9版本

更改配置文件备份下配置文件后再作更改cp -p /etc/containerd/config.toml /etc/containerd/config.toml.bak

生成配置文件Containerd 的默认配置文件为 `/etc/containerd/config.toml`，可以使用`containerd config default > /etc/containerd/config.toml`命令创建一份模块配置文件mkdir -p /etc/containerdcontainerd config default > /etc/containerd/config.toml

生成containerd 的配置文件

启动containerd并设置开机启动systemctl enable containerdsystemctl start containerdsystemctl status containerd

查看containerd版本ctr version

必须额外安装runc，因为cri-containerd-cni这个包里的runc有问题，输入runc无法调用命令，例如，输入runc不能提示帮助

下载地址：https://github.com/opencontainers/runc/releases/download/v1.1.9/runc.amd64wget https://github.com/opencontainers/runc/releases/download/v1.1.9/runc.amd64chmod +x runc.amd64which runcmv runc.amd64 /usr/local/sbin/runcrunc --version

安装runc

方法二：K8S1.24版本后就不在使用dockershim调用docker，所以在部署k8s1.24及以上版本时就不能使用docker去操作容器，我们需要新的插件去操作容器；此处以cri-containerd-cni插件为例：

安装容器

配置阿里云上的K8S yum源cat <<EOF > /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64enabled=1gpgcheck=0repo_gpgcheck=0gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpgEOFyum repolistyum makecache

配置K8S的yum源

安装kubeadm、kubelet、kubectl最新版本yum install -y kubelet kubeadm kubectl

安装kubeadm、kubelet、kubectl最新版本yum install -y kubelet-1.23.0 kubeadm-1.23.0 kubectl-1.23.0

配置kubelet为了实现docker使用的cgroupdriver与kubelet使用的cgroup的一致性，建议修改如下文件内容。vim /etc/sysconfig/kubeletKUBELET_EXTRA_ARGS=\"--cgroup-driver=systemd\"

启动kubectl并设置其开机自启动systemctl enable --now kubelet

为什么要修改证书有效期：k8s各组件非常依赖证书；而默认情况下ca证书是十年，而其他证书都只有一年；Kubernetes中的如果证书过期了，会导致集群中的许多组件无法正常通信，从而影响整个集群的功能。

方法一：cd /etc/kubernetes/pkifor i in $(ls *.crt); do echo \"===== $i =====\"; openssl x509 -in $i -text -noout | grep -A 3 'Validity' ; done

方法二：kubeadm certs check-expiration

查看证书有效期

下载源码wget https://go.dev/dl/go1.21.3.linux-amd64.tar.gz

解压安装tar -xf go1.21.3.linux-amd64.tar.gz -C /usr/local/

添加环境变量echo \"export PATH=$PATH:/usr/local/go/bin\" >>/etc/profilesource /etc/profile

验证是否安装go version

安装GO并配置

下载对应版本的k8s源码查看版本然后去github上下载对应的版本kubectl versionwget https://github.com/kubernetes/kubernetes/archive/refs/tags/v1.28.2.tar.gz

解压tar -zxf kubernetes-1.28.2.tar.gz

修改kubeadm证书；constants.go 文件vim cmd/kubeadm/app/constants/constants.go

修改CA 证书：cert.go文件vim staging/src/k8s.io/client-go/util/cert/cert.go

修改两个证书的源文件cd kubernetes-1.28.2

编译源代码重新编辑之前先安装rsync ，不然会提示缺少这个工具yum -y install rsyncmake WHAT=cmd/kubeadm GOFLAGS=-v

备份文件cp /usr/bin/kubeadm /usr/bin/kubeadm.bak

替换文件cp _output/bin/kubeadm /usr/bin/

备份证书cd /etc/kubernetescp -R pki pki.bak

更新所有证书kubeadm certs renew all重启服务或者重启机器，这边选择重启机器reboot

查看证书kubeadm certs check-expiration

替换就文件，更换kubeadm

修改K8S证书有效期

安装kubeadm、kubelet、kubectl

使用命令列出集群在配置过程中需要哪些镜像：kubeadm config images list

新建一个文件，将上面获取的镜像名称复制到文件中，然后遍历这个文件，依次进行镜像的下载

示例：#!/bin/bashimages=(kube-apiserver:v1.28.2kube-controller-manager:v1.28.2kube-scheduler:v1.28.2kube-proxy:v1.28.2pause:3.9etcd:3.5.9-0coredns:v1.10.1)for imageName in ${images[@]};dodocker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageNamedocker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageNamedocker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageNamedone

再次查看镜像docker images

安装docker的直接通过docker去拉取

示例：#!/bin/bashimages=(kube-apiserver:v1.28.2kube-controller-manager:v1.28.2kube-scheduler:v1.28.2kube-proxy:v1.28.2pause:3.9etcd:3.5.9-0coredns:v1.10.1)for imageName in \"${images[@]}\"; doctr -n k8s.io i pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageNamectr -n k8s.io i tag registry.cn-hangzhou.aliyuncs.com/google_containers/\"$imageName\" k8s.gcr.io/\"$imageName\"ctr -n k8s.io i rm registry.cn-hangzhou.aliyuncs.com/google_containers/$imageNamedone

再次查看镜像ctr -n k8s.io images list -q

PS; 这个查看镜像需要先指定查看哪儿个命名空间才可以查看到，不然查看不到当前机器上已有的镜像，可以通过下列命令先查看当前有哪儿些命名空间，然后在指定命名空间查看已有镜像ctr namespace listctr images list -q

安装containerd的通过ctr命令拉取

因为这个是外网的无法访问，需要替换成国内的镜像地址；

下载集群所需镜像

准备工作---所有节点都需要运行

集群初始化kubeadm init \\--apiserver-advertise-address=192.168.1.197 \\--kubernetes-version=v1.28.2 \\--pod-network-cidr=10.244.0.0/16 \\--service-cidr=10.254.0.0/16 \\--image-repository registry.aliyuncs.com/google_containers

在使用 `kubeadm init` 初始化 Kubernetes 控制平面时，通常需要配置一些常见选项，以确保集群的正确设置和性能。以下是一些常用的配置选项：1. `--apiserver-advertise-address`: 指定 Kubernetes API Server 监听的网络接口地址。通常是控制平面节点的 IP 地址或主机名。2. `--kubernetes-version`: 指定要安装的 Kubernetes 版本。3. `--pod-network-cidr`: 指定 Pod 网络的 IP 地址范围。这个范围用于分配给容器的 IP 地址。4. `--service-cidr`: 指定 Kubernetes 服务的 IP 地址范围。这个范围用于分配给 Kubernetes 服务的 IP 地址。5. `--ignore-preflight-errors`: 允许忽略预安装检查中的特定错误，这在特定情况下可能很有用。6. `--control-plane-endpoint`: 用于配置 Kubernetes 控制平面节点的端点地址。通常包括 IP 地址和 API 服务器的端口。7. `--upload-certs`: 允许上传生成的证书和密钥到 Kubernetes 控制平面节点上的密钥存储区，以便其他节点可以加入集群。8. `--config`: 通过配置文件指定初始化选项，这是一种更复杂但可扩展的方式，允许你自定义更多选项。9. `--node-name`: 指定节点的名称，通常在初始化单个节点时使用。

查看集群信息

初始化

kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.26.3/manifests/tigera-operator.yaml

wget https://raw.githubusercontent.com/projectcalico/calico/v3.26.3/manifests/custom-resources.yamlkubectl create -f custom-resources.yaml 

安装calico

查看calico状态kubectl get pods -n calico-system -owide

安装网络插件calico

只在master节点安装flannel插件即可，该插件使用的是DaemonSet控制器，该控制器会在每个节点上都运行wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.ymlkubectl apply -f kube-flannel.yml

安装网络插件flannel

安装网络插件（我这里选择的安装安装calico作为网络插件）

初始化集群---Master节点运行

获取证书key在master节点上运行kubeadm token create --print-join-command

node01上运行kubeadm join 192.168.1.197:6443 --token a81tq8.zsj9rd99h35q4sb2 --discovery-token-ca-cert-hash sha256:2f9a74d3c5033933b23c52fe9f00fdb76719bc259adb6f71dcce0d91630b78be

node02上运行kubeadm join 192.168.1.197:6443 --token a81tq8.zsj9rd99h35q4sb2 --discovery-token-ca-cert-hash sha256:2f9a74d3c5033933b23c52fe9f00fdb76719bc259adb6f71dcce0d91630b78be

添加worker节点分别在worker节点上运行上述命令

初始化集群---Node节点运行

K8S一主多从安装部署步骤

原因：kubectl命令需要使用kubernetes-admin来运行，需要admin.conf文件；而admin.conf 文件是通过 “kubeadmin init” 命令在 /etc/kubernetes 中创建的，从节点没有该配置文件；因此需要将admin.conf复制到从节点

解决方法：ls /etc/kubernetes/mkdir ~/.kubecp /etc/kubernetes/admin.conf ~/.kube/cd ~/.kubemv admin.conf config

01:故障现象：运行kubectl get nodes提示如下报错E1101 16:19:06.496382 32806 memcache.go:265] couldn't get current server API group list: Get \"http://localhost:8080/api?timeout=32s\": dial tcp [::1]:8080: connect: connection refused

原因，之前的重启导致添加的网桥和地址转发功能失效了

解决方法：需要重新添加网桥过滤和地址转发功能，并将这个加入开机启动项cat <<EOF > /etc/sysctl.d/kubernetes.confnet.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1EOFsysctl --system

02：故障现象：master节点kubeadm初始化提示如下报错

原因：两台node节点中/etc/containerd/config.toml配置文件中的镜像地址写错了，通过这个命令查看没起来的日志kubectl describe pod -n tigera-operator tigera-operator-597bf4ddf6-d5fr7

解决方法：将配置文件中的镜像地址改成正确的地址，更改完后可以看到网络插件对应的pod都已正常启动kubectl get pods -n calico-system -owide

03;故障现象：安装完网络插件calico后没有两个node节点没有正常运行起来对应的pod

Q&A

Docker$Kubernetes笔记---01---Kubernetes的集群部署