# 《强化学习：原理与Python实现》字母表

这里只列出常用字母。部分小节会局部定义的字母，以该局部定义为准。

一般规律： 大写是随机事件或随机变量，小写是确定性事件或确定性数值。衬线体（如Times New Roman字体）是数值，非衬线体（如Open Sans字体）则不一定是数值。粗体是向量或矩阵。花体是集合。

拉丁字母 | 含义
--- | ---
a , a π | 优势
A | 动作（随机事件）
a | 动作事件
A | 动作空间
b | 行为策略
B | 策略梯度中的基线（随机量）
B | 经验回放中抽取的一批经验
c | 计数值；线性规划的目标系数
d , d∞ | 度量
d KL | KL散度
D | 经验回放中的经验集
e | 资格迹
E | 期望
G | 回报（随机变量）
g | 回报值
g | 梯度向量
h | 动作偏好；熵
k | 迭代步数
N | 自然数集
p | 概率值
Pr | 概率
Q | 动作价值估计（随机变量）
q , q π | 动作价值
q∗ | 最优动作价值
R | 奖励（随机变量）
r | 奖励值
R | 奖励空间
R | 实数集
S | 状态（随机事件）
s | 状态事件
S | 状态空间
T | 回合步数（随机变量）
t | 时间指标
t π | Bellman期望算子
t∗ | Bellman最优算子
()T | 矩阵的转置
U | 用自益得到的回报估计
V | 状态价值估计（随机变量）
v , v π | 状态价值
v∗ | 最优状态价值
w | 价值估计参数
X | 一般的随机事件
x | 一般的事件
X | 一般的事件空间
z | 资格迹参数
希腊字母 | 含义
α | 学习率
β | 资格迹算法强化强度
γ | 折扣因子
δ | 时序差分误差
ε | 探索参数
λ | 资格迹衰减强度
π | 策略
π∗ | 最优策略
θ θ | 策略估计参数
ϑ | 价值迭代终止阈值
ρ | 重要性采样比率
Ψ | 扩展的优势估计（随机变量）
其他符号 | 含义
≤ | 普通数值比较；向量逐元素比较；策略的偏序关系
≪ | 绝对连续