《强化学习：原理与Python实现》字母表

这里只列出常用字母。部分小节会局部定义的字母，以该局部定义为准。

一般规律： 大写是随机事件或随机变量，小写是确定性事件或确定性数值。衬线体（如Times New Roman字体）是数值，非衬线体（如Open Sans字体）则不一定是数值。粗体是向量或矩阵。花体是集合。

拉丁字母	含义
$a$ $a_\pi$	优势
$\mathsfit{A}$	动作（随机事件）
$\mathsfit{a}$	动作事件
$\mathcal{A}$	动作空间
$b$	行为策略
$B$	策略梯度中的基线（随机量）
$\mathcal{B}$	经验回放中抽取的一批经验
$c$	计数值；线性规划的目标系数
$d$ $d_\infty$	度量
$d_\text{KL}$	KL散度
$\mathcal{D}$	经验回放中的经验集
$e$	资格迹
$\mathrm{E}$	期望
$G$	回报（随机变量）
$g$	回报值
$\mathbf{g}$	梯度向量
$h$	动作偏好；熵
$k$	迭代步数
$\mathbb{N}$	自然数集
$p$	概率值
$\Pr$	概率
$Q$	动作价值估计（随机变量）
$q$ $q_\pi$	动作价值
$q_\ast$	最优动作价值
$R$	奖励（随机变量）
$r$	奖励值
$\mathcal{R}$	奖励空间
$\mathbb{R}$	实数集
$\mathsfit{S}$	状态（随机事件）
$\mathsfit{s}$	状态事件
$\mathcal{S}$	状态空间
$T$	回合步数（随机变量）
$t$	时间指标
$t_\pi$	Bellman期望算子
$t_\ast$	Bellman最优算子
${\left(\quad\right)}^\text{T}$	矩阵的转置
$U$	用自益得到的回报估计
$V$	状态价值估计（随机变量）
$v$ $v_\pi$	状态价值
$v_\ast$	最优状态价值
$\mathbf{w}$	价值估计参数
$\mathsfit{X}$	一般的随机事件
$\mathsfit{x}$	一般的事件
$\mathcal{X}$	一般的事件空间
$\mathbf{z}$	资格迹参数
希腊字母	含义
$\alpha$	学习率
$\beta$	资格迹算法强化强度
$\gamma$	折扣因子
$\delta$	时序差分误差
$\varepsilon$	探索参数
$\lambda$	资格迹衰减强度
$\pi$	策略
$\pi_\ast$	最优策略
$\pmb{\unicode{x3B8}}$	策略估计参数
$\vartheta$	价值迭代终止阈值
$\rho$	重要性采样比率
$\Psi$	扩展的优势估计（随机变量）
其他符号	含义
$\le$	普通数值比较；向量逐元素比较；策略的偏序关系
$\ll$	绝对连续