ClickHouse运维实战
2023-04-13 21:57:13 0 举报AI智能生成
登录查看完整内容
ClickHouse运维实战
作者其他创作
大纲/内容
Part
Replica
Shard
分布式架构
...（可扩展）
集群架构
单节点
节点架构
数据块
数据段
分区
表
列族
列
索引
元数据
列式存储
数据存储
分布式聚合
分布式排序
分布式Join
分布式子查询
分布式查询
本地聚合
本地排序
本地Join
本地子查询
单节点查询
查询处理
INSERT
BulkINSERT
CSV格式
TSV格式
Native格式
批量数据加载
Kafka
KafkaConsumer
KafkaEngine
Kafka插件
TCP
HTTP
实时数据加载
数据加载
LDAP
PAM
自定义认证
用户认证
SSL/TLS
HTTPS
自定义加密
数据加密
安全性
CPU使用率
内存使用率
磁盘使用率
网络使用率
系统指标
查询时间
查询次数
查询速率
查询错误
查询缓存
查询指标
系统日志
查询日志
错误日志
慢日志
访问日志
日志
监控和诊断
存储插件
查询插件
引擎插件
自定义插件
插件架构
标量函数
聚合函数
表值函数
自定义函数库
自定义函数
扩展性
查询分析
查询优化器
查询计划
预编译查询
分布式查询优化
查询优化
LZ4
数据压缩
优化和性能
ClickHouse架构
单节点安装
集群安装
源码安装
Docker安装
二进制包安装
安装方式
准备环境
下载安装包
解压安装包
配置文件修改
启动ClickHouse
安装步骤
硬件配置
软件依赖
防火墙设置
数据目录设置
安装注意事项
启动失败
端口占用
权限问题
配置文件错误
数据丢失
常见问题解决方案
官方文档
社区论坛
博客文章
参考资料
ClickHouse安装
硬件优化
数据结构优化
系统参数调优
ClickHouse性能调优
数据备份
数据恢复
ClickHouse备份与恢复
系统监控
查询监控
日志监控
ClickHouse监控
用户管理
访问控制
数据加密思维导图：ClickHouse运维实战─ClickHouse架构─ClickHouse安装│─单节点安装│└─集群安装─ClickHouse性能调优│─硬件优化│─数据结构优化│─查询优化│└─系统参数调优─ClickHouse备份与恢复│─数据备份│└─数据恢复─ClickHouse监控│─系统监控│─查询监控│└─日志监控└─ClickHouse安全─用户管理─访问控制└─数据加密输出结果：ClickHouse运维实战
ClickHouse安全
ClickHouse运维实战
块
分片
副本
节点
负载均衡
Zookeeper
分布式集群
单机集群
字典
列存储
行存储
数据结构
数据导入
本地查询
数据查询
数据删除
数据更新
数据管理
分区表
合并树
压缩
索引优化
异步执行
性能优化
SSL/TLS支持
Kerberos支持
数值类型
日期和时间类型
字符串类型
数组和元组类型
枚举类型
IPv4和IPv6类型
空类型
支持的数据类型
CSV
TSV
JSON
ApacheAvro
ApacheParquet
ApacheORC
MySQL
PostgreSQL
ODBC/JDBC
RabbitMQ
Redis
Elasticsearch
HadoopDistributedFileSystem
支持的数据源和格式
性能监控
日志管理
备份和恢复
集群管理
调试工具
监控和管理
插件系统
UDF/UDAF/UDTF
自定义存储引擎
HTTPAPI
NativeAPI
CLI
开发者API
文档
社区支持
第三方工具和库
磁盘选择
RAID级别选择
磁盘分区
磁盘格式化
磁盘对齐
磁盘读写速率测试
磁盘IO调优
网络带宽
硬件调优
配置文件优化
缓存设置
并发数设置
查询超时时间设置
内存池大小设置
数据压缩设置
数据分区设置
数据表引擎选择
数据表分区键选择
数据表排序键选择
数据表索引设置
配置调优
查询语句优化
查询缓存设置
查询并行度设置
查询数据分区选择
查询数据排序选择
查询数据过滤选择
查询数据索引选择
查询数据预热
查询结果缓存设置
SQL查询调优
物理备份
逻辑备份
备份方式
使用rsync命令备份数据目录
使用ClickHouse官方提供的clickhouse-backup工具备份
使用mysqldump命令备份数据
物理恢复
逻辑恢复
恢复方式
将备份文件拷贝到新的ClickHouse节点上
使用ClickHouse官方提供的clickhouse-backup工具恢复
使用mysqldump命令恢复数据
3CPU使用率
3内存使用率
3磁盘使用率
3网络使用率
2基础指标
3查询总数
3平均查询耗时
3最长查询耗时
3查询错误率
2查询指标
3存储总量
3存储增量
3存储使用率
2存储指标
3网络吞吐量
3连接数
3连接错误率
2网络指标
1ClickHouse监控指标
Github仓库
Grafana插件库
相关资料
安装ClickHouse
安装Grafana
下载插件
安装插件
配置数据源
创建Dashboard
添加Panel
选择数据源
配置查询语句
设置图表样式
使用方法
基本查询语句
时间序列函数
数据过滤
数据分组
数据排序
常用功能
数据类型转换
数据格式化
数据采样
数据缓存
注意事项
2ClickHouseGrafana插件实战
2ClickHouseZabbix模板
2ClickHousePrometheusExporter
2ClickHouseTelegraf插件
1ClickHouse监控工具
2监控频率
3CPU使用率阈值
3内存使用率阈值
3磁盘使用率阈值
3网络使用率阈值
3查询错误率阈值
3存储使用率阈值
3网络吞吐量阈值
2监控阈值
3报警方式
3报警接收人
3报警级别
3报警内容
2监控报警
ClickHouse监控策略的重要性
ClickHouse监控策略的目的
ClickHouse监控策略的内容
概述
ClickHouse监控指标的分类
ClickHouse监控指标的含义
ClickHouse监控指标的采集方式
监控指标
ClickHouse监控工具的种类
ClickHouse监控工具的特点
ClickHouse监控工具的使用方法
监控工具
ClickHouse监控策略的制定步骤
ClickHouse监控策略的实施方法
ClickHouse监控策略的优化方法
监控策略
ClickHouse监控报警的种类
ClickHouse监控报警的触发条件
ClickHouse监控报警的处理方法
监控报警
ClickHouse监控策略的重点
ClickHouse监控策略的难点
ClickHouse监控策略的发展趋势
总结
1ClickHouse监控策略
ClickHouse是一个高性能的分布式列式数据库管理系统
需要进行安全设置来保护数据和系统的安全
Native，使用ClickHouse自身的用户名和密码进行认证
LDAP，使用LDAP服务器进行认证
Kerberos，使用Kerberos进行认证
OAuth2，使用OAuth2进行认证
支持明文和SHA256加密密码
支持密码过期和锁定
支持用户权限管理
基于用户名和密码的认证
支持TLS加密
支持LDAP组映射到ClickHouse角色
基于LDAP的认证
支持GSSAPI和SPNEGO协议
支持Kerberos票据缓存
基于Kerberos的认证
支持Google、Facebook、GitHub等OAuth2提供商
支持JWT令牌
基于OAuth2的认证
支持TLS双向认证
支持证书过期和吊销
基于X.509证书的认证
支持自定义认证插件开发
支持插件配置和参数传递
基于自定义插件的认证
ClickHouse支持多种认证方式
认证
角色可以被授予不同的权限
权限可以被授予到不同的数据库、表和列级别
基于角色
授权模型
超级管理员
管理员
普通用户
角色
数据库级别
表级别
列级别
权限
拥有所有权限
拥有数据库和表的管理权限
拥有表的查询和写入权限
创建数据库
删除数据库
修改数据库
创建表
删除表
修改表
查询表
查询列
修改列
ClickHouse支持基于角色的授权模型
授权
数据传输加密可以使用SSL/TLS协议
数据存储加密可以使用文件系统加密或者硬件加密
ClickHouse支持数据传输加密和数据存储加密
加密
可以记录用户的登录、查询、修改等操作
审计日志可以被写入到文件或者发送到远程服务器
ClickHouse支持审计功能审计日志
记录所有查询和修改操作
包含查询语句、执行时间、访问者IP等信息审计表
用于存储审计日志
支持按天、按小时等时间粒度划分表审计设置
通过配置文件设置审计参数
可设置审计日志的存储路径、保留时间等参数审计查询
通过查询审计表获取审计信息
可按时间、IP等条件过滤查询结果审计报告
通过审计查询结果生成审计报告
包含用户访问统计、异常操作提示等信息
ClickHouse支持审计功能
审计
可以限制来自特定IP地址或者特定用户的访问
可以限制特定类型的查询或者特定的查询语句
ClickHouse支持通过配置防火墙规则来限制访问
防火墙规则可以基于IP地址、端口、协议等条件进行匹配
支持黑名单和白名单两种模式
配置文件
防火墙规则配置在配置文件中的firewall子节点下
每个规则需要指定allow/deny、address、port、protocol等属性
示例
-allow:true
address:192.168.0.0/16
port:8123
protocol:tcp
-allow:false
address:10.0.0.0/8
port:9000
firewall:
命令行参数
可以通过命令行参数--firewall开启防火墙功能
--firewall-config可以指定防火墙规则配置文件路径
house-server--firewall--firewall-config=/etc/clickhouse-server/firewall.xml
防火墙规则的匹配顺序是按照配置文件中的顺序进行的
如果没有匹配到任何规则，则默认允许访问
ClickHouse支持防火墙功能
防火墙
认证、授权、加密、审计和防火墙
用户可以根据自己的需求进行设置和配置
ClickHouse提供了多种安全功能来保护数据和系统的安全
0 条评论
回复 删除
下一页
