金服k8s

namespace

xxwjf

金服服务

defult

集群基础组件

ingress-nginx

ingress

kube-system

k8s系统部署

存储

静态pv/pvc

NFS挂载：10.50.32.90:/data

pv001:nginx-root

pv002:nginx-conf

pv003:zookeeper-data01

pv004:zookeeper-data02

pv005:zookeeper-data03

动态持久化StorageClass

服务部署

新希望金服部署策略

0、获取要更新的包和配置文件

1、自动生成Dockerfile并核验配置

2、自动生成images，并推送harbor

3、自动生成yaml文件，并获取镜像，部署

持续部署流水线

gitlab-jenkins pipline-harbor

作用域：对外提供服务

eureka:http://eureka01.newhope.cn/

nginx:http://www.ingress.com/

service

clusterIP:集群内提供服务

nodeport：集群外映射

pods

有状态服务StatefulSet

nginx

配置目录conf

程序根目录root/html

污点设置，排它性

lab标记

zookeeper

数据持久化

数据卷创建pvc

子主题

无状态服务deployment

java程序

eureka

configmap配置

vlome

file

date

Dockfile

java基础镜像

centos7+jdk8+必要目录

其它基础镜像

3、k8s pull到部署节点

资源管理

集群资源管理

节点管理

存储管理

容器资源管理

内存

cpu

cicd

金服k8s

集群架构

master节点（keepalive）

master01:10.50.32.90

master02:10.50.32.91

masger03:10.50.32.92

VIP:10.50.32.100

node节点

node01:10.50.32.93

node02:10.50.32.94

node03:10.50.32.95

node0.........扩展

ETCD集群

etcd01:10.50.32.90

etcd02:10.50.32.91

etcd03:10.50.32.92

harbor私服

10.50.32.96

账号密码：regopr/Newhope@123

网络

网络组件：calico

宿主机网段：10.50.32.0/24

pod网段：172.168.0.0/16

service网段：10.96.0.0/12

集群内service_url

eureka:eureka01.xxwjf.svc.cluster.local

zookeep:

nginx:

面板

https://10.50.32.100:32333/

日志收集

常用收集方案比较

一般日志收集方案

金服方案，3：所有pod日志挂载strogeclass

1、程序改变日志输出目录，添加${HOSTNAME}标记;例如/app/logs/${HOSTNAME}/batchplatform

yaml中添加代码：

args: - \"-c\" - | set -ex mkdir /app/logs/${HOSTNAME} sleep 1 cd /app/apps;sh /app/apps/batchplatform.sh volumeMounts: - name: pod-logs mountPath: /app/logs volumes: - name: pod-logs hostPath: path: /data/logs-pod

监控

prometheus+grafana+alertmanager（告警插件）

prometheus: http://10.50.32.94:30090/

grafana：http://10.50.32.94:30091/

告警规则

手写、代码格式：prometheus_rules:rules: - alert: NodeFilesystemUsage expr: 100 - (node_filesystem_free_bytes{fstype=~\"ext4|xfs\"} / node_filesystem_size_bytes{fstype=~\"ext4|xfs\"} * 100) > 80 for: 1m labels: severity: warning annotations: summary: \"Instance {{ $labels.instance }} : {{ $labels.mountpoint }} 分区使用率过高\" description: \"{{ $labels.instance }}: {{ $labels.mountpoint }} 分区使用大于80% (当前值: {{ $value }})\" - alert: NodeMemoryUsage expr: 100 - (node_memory_MemFree_bytes+node_memory_Cached_bytes+node_memory_Buffers_bytes) / node_memory_MemTotal_bytes * 100 > 80 for: 1m labels: severity: warning annotations: summary: \"Instance {{ $labels.instance }} 内存使用率过高\" description: \"{{ $labels.instance }}内存使用大于80% (当前值: {{ $value }})\"

监控内容

集群监控

api

进程

主机监控

主机基础监控

容器pod监控

告警方式

邮件

微信

安全

容灾

集群

容器

节点

漂移