Tags: #math

信息论的基础知识，包括自信息、信息熵、最大熵原理、KL散度、交叉熵、联合熵、条件熵和互信息等内容。

概率论的基础知识，包括基本概念、概率分布（离散和连续）、联合概率分布、边缘概率、条件概率与独立性、贝叶斯定理、期望、方差和协方差等内容。