信息论 (Information Theory)
核心
- 信息量
- 熵（Entropy）
- 联合熵
- 条件熵
- 互信息
- 交叉熵（Cross-Entropy）
- KL散度（Kullback-Leibler Divergence）
大模型应用
损失函数
- 交叉熵损失是衡量预测分布与真实分布之间差异的度量。
注意力机制
- 计算注意力权重时，softmax 操作与概率分布和熵的关联。
强化学习
- 策略梯度的优化目标中可能包含熵正则项，以鼓励探索。
- TRPO / PPO 算法的核心是 KL 散度约束。
模型压缩与量化
- 量化信息损失的评估。
贡献者
这篇文章有帮助吗？
最近更新
Involution Hell© 2026 byCommunityunderCC BY-NC-SA 4.0
微积分与优化 (Calculus & Optimization)
内卷地狱技术文档：微积分与优化核心概念，涵盖导数、梯度、链式法则、泰勒展开、拉格朗日乘子法与凸优化。详解反向传播中梯度计算、模型训练中SGD/Adam/RMSProp等优化器原理及激活函数导数特性。适合AI/CS求职者、深度学习入门者及算法工程师系统复习数学基础。
线性代数 (Linear Algebra)
线性代数核心概念：向量、矩阵、张量、特征值与特征向量、SVD奇异值分解及PCA主成分分析。深入解析大模型应用中的Embedding嵌入、Attention注意力机制QKV矩阵点积运算、Transformer架构矩阵运算与残差连接。适合AI算法工程师、大模型开发者及求职备考者阅读。