golang技术栈后端知识图谱

元素数量、hash种子、桶个数、溢出桶个数、指向桶的指针、扩容旧桶指针、

kv存储、溢出桶地址（链表）

低位hash计算桶、高位hash计算桶内位置

装载因子过高：元素数量/桶数量>6.5

增量扩容：桶数量翻倍、渐进式迁移

数据一致性的保证

基础数据结构需要保持高效

解决方案：分片map，减少锁竞争

传播取消信号（单向只读channel）

超时控制

值传递

type Context interface {
    Deadline() (deadline time.Time, ok bool)
    Done() <-chan struct{}
    Err() error
    Value(key interface{}) interface{}
}

由go运行时管理

初始栈空间2KB

调度成本低，上线下文切换比OS线程快10-100倍

GMP模型

栈内存：协程的独立栈、自动管理无需手动释放

堆内存：动态分配、垃圾回收、指针引用

全局数据区：存储全局变量；程序启动时分配生命周期与程序相同。

分级分配

mcache

mcentral

mheap

场景

三色标记：根对象开始扫描、递归扫描引用；清除阶段；并发执行

GC关键参数

性能优化

分析类型

查看命令

关键指标

分析视图

CPU使用率高：无限循环、复杂代码、频繁序列化和反序列化

内存问题：协程泄漏、全局变量积累、未关闭资源

并发的问题：死锁

GC压力：频繁GC、GC停顿时间长

网络和IO瓶颈：连接池太少

工作池

超时控制组合

多路复用

GOMAXPROCS设置

避免调度抖动

工作窃取：1先检查全局队列；2从其他P的队列尾部偷取一半G；3检查网络轮询器；4最后检查定时器

系统调用处理

自旋线程优化

调度器性能优化

查看调度器的统计

使用trace工具

长时间运行的计算通过：runtime.Gosched()主动让出

实时性要求高的任务：runtime.LockOSThread()锁定到当前的线程

大量I/O密集型任务：控制并发量：sem := make(chan struct{}, 1000) ；func() { <-sem }()

基本结构

工作模式

源码解析（未完）

高级技巧

常见陷阱

调优建议

计数器为负数，会panic

底层实现

基本结构

基本结构

文件基本操作

目录操作

文件信息和权限

文件路径

环境变量的操作

进程管理

文件锁

内存映射文件

临时文件和目录

当前容量<1024，新容量=旧容量*2

如果当前铜容量>1024，新容量=旧容量*1.25

最终会根据元素类型和内存对齐要求进行调整

触发条件

简单动态字符SDS

底层实现

ziplist：元素量少时使用

quicklist（On复杂度）

intset：元素数量少(数量<512)且都是整数，log(n)

hashtable

ziplist：数量少

skiplist+hashtable

主从复制+代理层

redis集群跨机房

双活同步

比较两地key数量

使用RDB文件校验

自动故障检测

手动切换步骤

同步方式：RDB全量同步+增量同步

一致性机制：心跳检测、写传播、存储最近主节点写命令

异步复制

半同步复制：阻塞客户端直到一定数量节点同步完

每条命令同步一次

每秒同步（默认）

操作系统决定

数据分片

gossip协议

故障转移：节点选举

管道技术（Pipeline）减少RTT

连接池的使用

避免大键（超过10KB）

合理设置持久化策略

使用批量操作命令

两集群同步数据，CRDT合并冲突

智能路由

应用层双写 

一次尝试从多个节点获取锁

如果获取失败，向所有节点发起释放锁

策略

熔断器

降级性能指标

隔离原理

核心思想

优势

实时数据监控：流量、熔断、降级统计指标

历史数据分析：支持对历史数据的查询和分析

数据按照range划分为多个region

默认region的大小是96M

每个region有多个副本

副本通过Raft保持一致性

客户端缓存region路由信息

发送请求到正确的region Leader

如果region分裂或者迁移，返回错误并更新路由

定期从PD刷新路由

核心功能

关键特性

┌───────────────────────┐
│       MySQL Protocol  │
└──────────┬────────────┘
           │
┌──────────▼────────────┐
│     SQL Layer        │
│  ┌─────────────────┐ │
│  │   Parser        │ │
│  └────────┬────────┘ │
│  ┌────────▼────────┐ │
│  │   Optimizer    │ │
│  └────────┬────────┘ │
│  ┌────────▼────────┐ │
│  │  Executor      │ │
│  └─────────────────┘ │
└──────────┬────────────┘
           │
┌──────────▼────────────┐
│   Distributed Exec   │
└───────────────────────┘

核心功能

关键特性

┌───────────────────────────────────────┐
│                 TiKV                  │
│ ┌───────────────────────────────────┐ │
│ │            Raft Group             │ │
│ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │
│ │ │ Leader  │ │ Follower│ │ Follower│ │
│ │ └─────────┘ └─────────┘ └─────────┘ │
│ └───────────────────────────────────┘ │
│ ┌───────────────────────────────────┐ │
│ │            RocksDB                │ │
│ │ ┌───────┐ ┌───────┐ ┌───────┐     │ │
│ │ │  CF   │ │  CF   │ │  CF   │ ... │ │
│ │ └───────┘ └───────┘ └───────┘     │ │
│ └───────────────────────────────────┘ │
└───────────────────────────────────────┘

核心功能

关键特性

主要职责

双存储引擎：TiKV、TiFlash

毫秒级延时

智能路由

行列混合存储（列存压缩）

MPP计算引擎:分布式并行计算

单一职责

独立部署

去中心化数据管理

服务间通信

容错和弹性

可观测

API网关

松耦合通信

容错设计：熔断

API契约优先

数据所有权

最终一致性模式

可观测性：指标采集QPS、延迟、错误率；日志结构json+trece串联；跨服务调用链追踪；

基础设施即代码：CICD部署

调用方无需感受服务部署位置；隐藏底层网络通信；支持跨语言；

客户端

序列化协议

网络传输

服务端

服务发现

容错机制

性能优化

提升系统稳定性

提升开发效率

提升用户体验

支持业务扩展

网络分区：集群节点之间链接故障

节点故障

心跳检测失败

数据不一致

服务冲突

资源竞争

网络断开后A、B两节点无法通信

A认为B宕机持续写入；B认为A宕机持续写入；

网络恢复后，两节点不一致并且合并有冲突

分层架构

关键线程

InnoDB

索引优化

查询优化

核心作用

单机部署

主从复制：主服务处理写操作，从服务器负责读请求

主主复制

组复制：多主复制数据库集群；共识算法Paxos变种实现数据一致性

mysql InnoDB 集群：多主复制、自动故障切换、负载均衡

云数据库服务：

容器化部署：使用容器技术打包mysql和部署，高度的可移植性

使用合适的索引

避免使用select*

避免在where后使用函数

使用limit限制使用行数

使用explain分析查询计划

使用合适的数据类型

避免使用or来优化查询

尽量使用覆盖索引

A 原子性

C 一致性

I 隔离性

D 持久性

ACID

事务日志：Redolog和Undo log

锁：表锁和行锁

多版本并发控制MVCC

双写缓冲

复制的基础架构

关键技术

跨节点自动数据分布和负载均衡

通过唯一名称表示

自动发现和故障检测机制

类型

通信节点

索引

分片

写一致性、读一致性、乐观并发控制

集群状态

发布机制

客户端->协调节点->文档路由到主分片->主分片斜土本地->复制到副本分片->副本分片确认->主分片返回成功

客户端->协调节点->轮询所有相关分片（主、副）->合并结果->返回客户端

平衡分配：磁盘容量、分片数量、节点负载

感知配置：机架感知、热温冷架构

倒排索引

段

文档储存

Refresh：默认将1秒你的缓存写入新段；近实时搜索NRT

Flush:将段持久化到磁盘；清空事务日志

Merge：后台段合并优化

副本提升：主节点故障是自动提升副本

分片重分配：节点下线后自动重新平衡

逐个节点重启更新

确保集群持续可用

OSI七层模型

TCP/IP四层模型

集线器：物理层，广播数据包效率低

交换器：工作在数据链路层，基于MAC地址转发数据，支持全双工

路由器：在网络层工作，基于IP地址进行路由选择

网关：在不同协议间进行转化，常用于应用层

负载均衡器：分发流量到多个服务器，提高系统的可用性和性能

带宽：单位时间内传输的数据量，bps

吞吐量：实际传输的数据量，受网络拥塞等因素的影响

延迟：数据包从源到目的地的传输时间

抖动：延时的变化程度，影响实时应用体验

丢包率：在传输过程中丢失数据包的比例

IPv4

IPv6

子网划分与CIDR

TCP

UDP

HTTP超文本传输、HTTPS：HTTP+SSL/TLS

DNS：域名解析

FTP-文件传输协议 SFTP-基于ssh的安全文件传输协议

SMTP-发送邮件

MQTT-轻量级的发布订阅消息传输协议  WebSocket:提供全双工通信，适用于实时Web应用

接入层：路由器、交换机

汇聚层：聚合接入层流量、进行策略控制

核心层：提高吞吐量、低延时的主干链接

冗余设计：多路径、多设备避免单点

负载均衡：分发流量

故障切换：自动检测切换

异地多活

服务发现

API统一网关：统一入口、处理认证、路由、限流等

服务间通信：同步（http，grpc）和异步（消息队列）

SDN：将控制平面与数据平面分离，铜鼓控制器集中管理网络

NFV：讲网络功能（防火墙、负载均衡）虚拟化，运行在通用硬件上

DDos攻击：通过大量请求消耗尽目标资源

MITM：拦截和篡改通信双方数据

SQL注入、XSS：web应用层面的攻击

端口出扫描和暴力破解：探测和尝试破解网络服务的访问权限

防火墙：基于规则过滤流量、保护内部网络

入侵检测与防御系统：监控和阻止恶意活动

VPN：加密隧道

身份验证与授权：OAuth

加密技术：SSL

永不信任

始终验证

最小访问权限

持续监控

阻塞IO和非阻塞IO

同步IO和异步IO

监控多个文件描述符的可读、可写、异常事件；用fd_set位图管理描述符；每次调用需要重新设置描述符；

缺点：单个进程监控的fd数量有限；效率On；需要频繁的上下文切换

pollfd结构体管理描述符；没有最大文件限制；事件类型更丰富；

线性扫描所有fd，效率低

使用红黑树管理fd，hash存储就绪事件；支持边缘触发（变更只通知一次）和水平触发（持续通知，默认）

定义：开发人员频繁合并变更到主分支，并通过自动化构建和测试快速验证变更。

目标：尽早发现错误；确保代码始终处于可部署状态

实践：代码提交后自动触发构建和测试；使用版本控制系统管理代码；快速反馈

工具：Jenkins

持续交付

持续部署

快速、频繁、可靠的软件发布

降低风险：通过小批量、渐进式的变更减少发布失败

缩短反馈周期

自动化一切

持续集成

部署流水线

环境一致

版本控制一切

string

list（先进先出）

set（键值对集合、无序唯一）

zset

hash

TDSql

tidb

一致性、原子性、隔离性、持久性

两阶段提交：2PC

三阶段提交：3PC

TCC（基于补偿机制的分布式事务）

方法

场景

高可用

DDD

单一职责原则

松耦合高内聚

业务能力拆分法

领域事件驱动拆分

数据隔离拆分

组织因素（康威定理）

技术因素

演进因素

服务拆分评估指标

服务通信设计：同步REST/grpc；异步消息队列

数据一致性的保证

服务演进策略

过度拆分

拆分不足

跨边界依赖问题

GMP模型，在用户态实现协程调度节省上下文切换

初始2KB

监听多个channel处理最优先就绪的

sync.Mutex互斥锁

sync.RWMutex读写锁

sync.WaitGroup

sync.Once单次执行

worker pool工作池

Fan-Out/Fan-In

rpc框架：grpc、thrift

REST API：HTTP/HTTPSj接口暴露与管理

消息队列集成：kafka/pulsar

协议转化

thrift

pb

信号量

共享内存

消息队列

管道

命名管道

套接字（网络）

共享变量

互斥锁

条件变量

事件

信号量

屏障