大模型训练与推理全栈知识体系是一个动态进化的文档集合，旨在全面覆盖构建和维护尖端机器学习系统所需的所有知识。本体系精确地整合了从基础算法学习、模型设计、优化策略、硬件选型、软件配置，到大规模数据处理与分析的各个层面。它还包括了关于部署模型、监控性能、实时推理以及反馈循环的详细信息，确保用户能够高效地将大模型融入实际应用场景。其中的每个内容条目都被精心修饰，标注了实用性和相关性，方便用户根据最新的技术发展和行业标准进行选择和学习。无论您是初学者、研究人员还是实践经验丰富的工程师，本全栈知识体系都将为您提供持续学习和发展的宝贵资源。

JDK8版本的JVM内存模型主要包括堆、栈、方法区和本地方法栈。其中，堆是JVM所管理的最大的一块内存空间，主要用于存放对象实例。栈分为虚拟机栈和本地方法栈，虚拟机栈用于存储局部变量和方法调用，而本地方法栈则用于支持native方法的执行。方法区用于存放已被加载的类信息、常量、静态变量等数据。此外，JDK8版本还引入了Metaspace元空间，取代了永久代，用于存放类的元数据信息。在垃圾回收方面，JDK8版本引入了Parallel Scavenge和G1两个并行垃圾收集器，提高了垃圾回收的效率。

执行平面三大核心模块（Harness 的执行载体） 执行平面是 Harness 管控规则的落地载体，是 Agent 执行任务的核心链路，所有模块的行为均受控于管控平面。 1. 核心执行引擎模块（Agent 的心脏） 2. 工具与能力管理模块（Agent 的手脚） 3. 记忆与上下文管理模块（Agent 的大脑记忆）

Hive 的 JOIN 优化 Common Join（Reduce-Side Join / Shuffle Join） Map Join（Broadcast Join） Bucket Map Join Sort Merge Bucket（SMB）Join Skew Join 采样倾斜 Key 并分拆 JOIN

科研

Hadoop-MapReduce 工作流程图

HadoopHDFS 工作流程图与联邦机制