《强化学习：原理与Python实现》更新与勘误

（2019年12月第1版第3次印刷）

Gym 0.25版本更新了API，GitHub代码已相应更新。代码以GitHub上为准。

行数计算方法

本勘误文档中，行数计算“第$i$$i$行”（$i=0,1,2,\dots$$i=0,1,2,\ldots$）是从0开始计数的。小节标题、公式、内联代码、注意、本章要点记入行数，章标题、图、表、代码清单及它们的题注不计入行数。空行不计入行数。

$$$\newcommand{\sfA}{\unicode{x1d608}} \newcommand{\sfS}{\unicode{x1d61a}} \newcommand{\sfa}{\unicode{x1d622}} \newcommand{\sfs}{\unicode{x1d634}} \newcommand{\bftheta}{\pmb{\unicode{x3B8}}} \newcommand{\E}{\textrm{E}}$

第17页第6行

作者注： “轨道”又称为“轨迹”。本书中这两个词混用。

第20页第2行

作者注： 这种带折扣的回报定义既可以用于回合制任务，也可以用于连续性任务，是一种统一的表示。

第20页第9行

为$\overline{R}=\underset{t\to +\mathrm{\infty }}{lim}\text{E}\left[\frac{1}{t}\sum _{\tau =0}^t{R}_{\tau }\right]$$\bar{R}=\lim\limits_{t\to+\infty}\E\left[\frac{1}{t}\sum\limits_{\tau=0}^{t}R_\tau\right]$

改为

为$\overline{R}=\underset{t\to +\mathrm{\infty }}{lim}\text{E}\left[\frac{1}{t}\sum _{\tau =1}^t{R}_{\tau }\right]$$\bar{R}=\lim\limits_{t\to+\infty}\E\left[\frac{1}{t}\sum\limits_{\tau=1}^{t}R_\tau\right]$

第22页图2-2b)中图注

$v_{\pi }(\text{𝘴})$$v_\pi(\sfs)$

改为

$v_{\pi }({\text{𝘴}}^{\prime })$$v_\pi(\sfs')$

第28页第0行

$\mathrm{\Delta }=(1-\gamma )(1-(1-\alpha x-\beta y))>0$$\Delta=\left(1-\gamma\right)\left(1-\left(1-\alpha{x}-\beta{y}\right)\right)>0$

改为

$\mathrm{\Delta }=(1-\gamma )(1-(1-\alpha x-\beta y)\gamma )>0$$\Delta=\left(1-\gamma\right)\left(1-\left(1-\alpha{x}-\beta{y}\right)\gamma\right)>0$

第28页第1行

分母部分

改为

分子部分

第29页正文第2行

$\gamma <\frac{1-4\beta }{1-\alpha }$$\gamma<\frac{1-4\beta}{1-\alpha}$

改为

$\gamma \ge \frac{1-4\beta }{1-\alpha }$$\gamma\ge\frac{1-4\beta}{1-\alpha}$

第30页

作者注：用线性规划求解最优状态价值的详细证明可见《Markov Decision Processes: Discrete Stochastic Dynamic Programming》（Martin Puterman）的第6.9节。证明大致如下：当$c\left(\text{𝘴}\right)$$c\left(\sfs\right)$为Markov决策过程的初始状态分布时，原问题和对偶问题的目标都是Markov决策过程的平均回合奖励，原问题的最优解是最优状态价值。对$c\left(\text{𝘴}\right)$$c\left(\sfs\right)$做灵敏度分析可知，无论$c\left(\text{𝘴}\right)$$c\left(\sfs\right)$取什么分布，对偶问题均有解（这利用到对偶问题的可行域就是带折扣的状态动作对组成的分布所在的空间），所以原问题的最优解都是不变的。也就是说，Markov决策过程的最优状态价值和初始状态分布无关。进一步，可以在原问题中放宽${\sum }_{\text{𝘴}}c\left(\text{𝘴}\right)=1$$\sum\nolimits_{\sfs}c\left(\sfs\right)=1$这个限制，原问题的解依然不变，只是优化目标进行了放缩。

第34页第9行

计算这个动态规划问题

改为

计算这个线性规划问题

第39页第1行

$v_{\ast }\left({\text{𝘴}}^{\prime }\right)$$v_{*}\left(\sfs'\right)$

改为

$v\left({\text{𝘴}}^{\prime }\right)$$v\left(\sfs'\right)$

第39页第25行

（fix point）

改为

（fixed point）

第42页第9行

对于两个确定性的策略

改为

对于策略

第48页3.5节

作者注：Gym 0.19版本将FrozenLake-v0改为FrozenLake-v1。

作者注：Gym 0.22删除了DiscreteEnv类，所以env.unwrapped.nS和env.unwrapped.nA不再可用。建议用env.observation_space.n替换env.unwrapped.nA，用env.action_space.n替换env.unwrapped.nA。

第56页第10行

同时满足$\{{\alpha }_k:k=1,2,\dots \}$$\left\{\alpha_k:k=1,2,\ldots\right\}$

改为

$\{{\alpha }_k:k=1,2,\dots \}$$\left\{\alpha_k:k=1,2,\ldots\right\}$同时满足

第58页最后一行

态${\text{𝘴}}_{\text{起}\text{始}}$$\sfs_{起始}$

改为

态${\text{𝘴}}_{\text{开}\text{始}}$$\sfs_{开始}$

第66页4.3节

作者注：Gym 0.20版本将Blackjack-v0改为Blackjack-v1。

第67页第3行

范围为3~21的int型数值

改为

范围为4~21的int型数值

第72页4.3.4节正文第1行，第73页正文第0行

evaluate_action_monte_carlo_importance_resample

改为

evaluate_monte_carlo_importance_sample

第72页代码清单4-7第0行，第73页正文第7行

evaluate_monte_carlo_importance_resample

改为

evaluate_monte_carlo_importance_sample

第73页代码清单4-8第0行，第74页正文第0行，第74页正文第3行

monte_carlo_importance_resample

改为

monte_carlo_importance_sample

第85页算法5-10输入

输入：环境（无数学描述）、策略$\pi$$\pi$。

改为

输入：环境（无数学描述）、如果是策略评估还需要输入策略$\pi$$\pi$。

第85页算法5-10第2.3.1步

根据$\pi (\cdot \mid {\text{𝘚}}_{t+n})$$\pi\left(\cdot\mid\sfS_{t+n}\right)$决定

改为

根据$b(\cdot \mid {\text{𝘚}}_{t+n})$$b\left(\cdot\mid\sfS_{t+n}\right)$决定

第91页算法5-13参数部分、第92页算法5-14参数部分

参数：资格迹参数$\beta$$\beta$、

改为

参数：资格迹参数$\lambda$$\lambda$和$\beta$$\beta$、

第91页算法5-13第2.3.5步

改为

2.2.5（更新价值）$q(\text{𝘴},\text{𝘢})\leftarrow q(\text{𝘴},\text{𝘢})+\alpha e(\text{𝘴},\text{𝘢})[U-q(\text{𝘚},\text{𝘈})],\text{𝘴}\in \mathcal{S},\text{𝘢}\in \mathcal{A}\left(\text{𝘴}\right)$$q\left(\sfs,\sfa\right)\leftarrow{q}\left(\sfs,\sfa\right)+\alpha{e}\left(\sfs,\sfa\right)\left[U-q\left(\sfS,\sfA\right)\right],\sfs\in\mathcal{S},\sfa\in\mathcal{A}\left(\sfs\right)$;

第91页算法5-13第2.3.6步

退出2.2步

改为

退出2.3步

第92页算法5-14第2.3.3步

$\text{𝘴}\in \mathcal{S},\text{𝘢}\in \mathcal{A}$$\sfs\in\mathcal{S},\sfa\in\mathcal{A}$

改为

$\text{𝘴}\in \mathcal{S}$$\sfs\in\mathcal{S}$

第92页算法5-14第2.3.5步

改为

2.2.5（更新价值）$v\left(\text{𝘴}\right)\leftarrow v\left(\text{𝘴}\right)+\alpha e\left(\text{𝘴}\right)[U-v\left(\text{𝘚}\right)],\text{𝘴}\in \mathcal{S}$$v\left(\sfs\right)\leftarrow{v}\left(\sfs\right)+\alpha{e}\left(\sfs\right)\left[U-v\left(\sfS\right)\right],\sfs\in\mathcal{S}$。

第96页代码清单5-6第14行

        v = (self.q[next_state].sum() * self.epsilon + \

改为

xxxxxxxxxx
        v = (self.q[next_state].mean() * self.epsilon + \

第102页第12行

${\sum }_{t=0}^T{[G_t-v({\text{𝘚}}_t;\mathbf{w})]}^2$$\sum\nolimits_{t=0}^T{{\left[G_t-v\left(\sfS_t;\mathbf{w}\right)\right]}^2}$

改为

${\sum }_{t=0}^{T-1}{[G_t-v({\text{𝘚}}_t;\mathbf{w})]}^2$$\sum\nolimits_{t=0}^{T-1}{{\left[G_t-v\left(\sfS_t;\mathbf{w}\right)\right]}^2}$

第104页算法6-4第2.2.4步，第106页算法6-6第2.3.5步（共2处）

（更新动作价值函数）

改为

（更新价值函数）

第105页算法6-5第2.1步

增加

初始化资格迹$\mathbf{z}\leftarrow \mathbf{0}$$\mathbf{z}\leftarrow\mathbf{0}$

第114页第5行

算法6-10

改为

算法6-9

第114页6.4.4节

本节将“duel network”译作“对偶网络”有误。可译为“决斗网络”。相应的“对偶Q网络”、“对偶深度Q网络”可改为“决斗Q网络”、“决斗深度Q网络”。

第118页

作者注：

砖瓦编码是一种历史悠久的特征构造方法，可用于回归、分类等问题。目前学术界倾向于用神经网络代替砖瓦编码来构造特征。由于砖瓦编码和强化学习没有直接关联，本书没有用过多的篇幅介绍砖瓦编码。

实际使用砖瓦编码时，不需要精确计算砖瓦的数量，常随意的大致估计砖瓦的数量作为特征数。如果设置的特征数大于真实的砖瓦数量，那么有些特征永远不会取到，有些浪费；如果设置的特征数小于真实的砖瓦数量，那么有多个砖瓦需要共享特征，具体逻辑可以见代码清单6-3中“冲突处理”部分。这些浪费和冲突往往不会造成明显的性能损失。

第118页砖瓦数计算：每个大网格的网格宽度刚好是整个取值范围的1/8。所以，第0层大网格每个维度有8个大网格；第1~7层由于有偏移，每个维度需要有9个大网格才能覆盖整个取值范围。第117页图6-3b的情况略有不同：这个图中每个维度的取值范围不是大网格的长度的整数倍。所以有些层偏移后，不需要更多的大网格也可以覆盖整个取值范围。

第126页最后一行

$=\sum _{\text{𝘴}}Pr[{\text{𝘚}}_t=\text{𝘴}]\mathrm{\nabla }{v}_{\pi \left(\text{θ}\text{θ}\right)}\left({\text{𝘚}}_t\right)$$=\sum\limits_\sfs\Pr\left[\sfS_t=\sfs\right]\nabla{v}_{\pi\left(\bftheta\right)}\left(\sfS_t\right)$

改为

$=\sum _{\text{𝘴}}Pr[{\text{𝘚}}_t=\text{𝘴}]\mathrm{\nabla }{v}_{\pi \left(\text{θ}\text{θ}\right)}\left(\text{𝘴}\right)$$=\sum\limits_\sfs\Pr\left[\sfS_t=\sfs\right]\nabla{v}_{\pi\left(\bftheta\right)}\left(\sfs\right)$

第127页第10行

$=\text{E}\left[\sum _{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}({\text{𝘚}}_0,\text{𝘢})\mathrm{\nabla }\pi (\text{𝘢}|{\text{𝘚}}_0;\text{θ}\text{θ})\right]+\text{E}\left[\sum _{\text{𝘢}}\gamma q_{\pi \left(\text{θ}\text{θ}\right)}({\text{𝘚}}_1,\text{𝘢})\mathrm{\nabla }\pi (\text{𝘢}|{\text{𝘚}}_1;\text{θ}\text{θ})\right]+{\gamma }^2\text{E}\left[\mathrm{\nabla }{v}_{\pi \left(\text{θ}\text{θ}\right)}\left({\text{𝘚}}_1\right)\right]$$=\E\left[\sum\limits_\sfa{q}_{\pi\left(\bftheta\right)}\left(\sfS_0,\sfa\right)\nabla\pi\left(\sfa|\sfS_0;\bftheta\right)\right]+\E\left[\sum\limits_\sfa\gamma{q}_{\pi\left(\bftheta\right)}\left(\sfS_1,\sfa\right)\nabla\pi\left(\sfa|\sfS_1;\bftheta\right)\right]+\gamma^2\E\left[\nabla{v}_{\pi\left(\bftheta\right)}\left(\sfS_1\right)\right]$

改为

$=\text{E}\left[\sum _{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}({\text{𝘚}}_0,\text{𝘢})\mathrm{\nabla }\pi (\text{𝘢}|{\text{𝘚}}_0;\text{θ}\text{θ})\right]+\text{E}\left[\sum _{\text{𝘢}}\gamma q_{\pi \left(\text{θ}\text{θ}\right)}({\text{𝘚}}_1,\text{𝘢})\mathrm{\nabla }\pi (\text{𝘢}|{\text{𝘚}}_1;\text{θ}\text{θ})\right]+{\gamma }^2\text{E}\left[\mathrm{\nabla }{v}_{\pi \left(\text{θ}\text{θ}\right)}\left({\text{𝘚}}_2\right)\right]$$=\E\left[\sum\limits_\sfa{q}_{\pi\left(\bftheta\right)}\left(\sfS_0,\sfa\right)\nabla\pi\left(\sfa|\sfS_0;\bftheta\right)\right]+\E\left[\sum\limits_\sfa\gamma{q}_{\pi\left(\bftheta\right)}\left(\sfS_1,\sfa\right)\nabla\pi\left(\sfa|\sfS_1;\bftheta\right)\right]+\gamma^2\E\left[\nabla{v}_{\pi\left(\bftheta\right)}\left(\sfS_2\right)\right]$

第128页第10行

增量$\alpha {\gamma }^t{G}_t\mathrm{\nabla }\pi ({\text{𝘈}}_t|{\text{𝘚}}_t;\text{θ}{\text{θ}}_t)$$\alpha\gamma^tG_t\nabla\pi\left(\sfA_t|\sfS_t;\bftheta_t\right)$

改为

增量$\alpha {\gamma }^t{G}_t\mathrm{\nabla }\pi ({\text{𝘈}}_t|{\text{𝘚}}_t;\text{θ}\text{θ})$$\alpha\gamma^tG_t\nabla\pi\left(\sfA_t|\sfS_t;\bftheta\right)$

第129页第15行

随机变量$B\left(\text{𝘚}\right)=-\sum _{\tau =1}^{t-1}{\gamma }^{\tau -t}{R}_{\tau }$$B\left(\sfS\right)=-\sum\limits_{\tau=1}^{t-1}\gamma^{\tau-t}R_\tau$，

改为

随机变量$B\left(\text{𝘚}\right)=-\sum _{\tau =0}^{t-1}{\gamma }^{\tau -t}{R}_{\tau +1}$$B\left(\sfS\right)=-\sum\limits_{\tau=0}^{t-1}\gamma^{\tau-t}R_{\tau+1}$，

第131页算法7-3第2.3步

2.3（初始化回报和权重）

改为

2.3（初始化回报）

第137页代码清单7-1中learn()函数

xxxxxxxxxx
            y = np.eye(self.action_n)[df['action']] * \
                    df['psi'].values[:, np.newaxis]
            self.policy_net.fit(x, y, verbose=0)

改为

xxxxxxxxxx
            sample_weight = df['psi'].values[:, np.newaxis]
            y = np.eye(self.action_n)[df['action']]
            self.policy_net.fit(x, y, sample_weight=sample_weight, verbose=0)

第142页算法8.3第2.3.2步

作者注：这里的更新式子遵循了论文原文而没有考虑累积折扣。推导出现折扣是正确的；更新时考虑折扣也是正确和合理的。

第143页第5行，第143页算法8.4第2.3.4步（共2处）

$\mathrm{\nabla }\ln \pi (\text{𝘈}\mid \text{𝘚};\mathbf{w})$$\nabla\ln\pi\left(\sfA\mid\sfS;\mathbf{w}\right)$

改为

$\mathrm{\nabla }\ln \pi (\text{𝘈}\mid \text{𝘚};\text{θ}\text{θ})$$\nabla\ln\pi\left(\sfA\mid\sfS;\bftheta\right)$

第144页第7~11行

${\text{E}}_{\pi \left(\text{θ}\text{θ}\right)}\left[\sum _{t=0}^{+\mathrm{\infty }}{\gamma }^t{a}_{{\pi }_k}({\text{𝘚}}_t,{\text{𝘈}}_t)\right]$$\E_{\pi\left(\bftheta\right)}\left[\sum\limits_{t=0}^{+\infty}{\gamma^ta_{\pi_k}\left(\sfS_t,\sfA_t\right)} \right]$

$={\text{E}}_{\pi \left(\text{θ}\text{θ}\right)}\left[\sum _{t=0}^{+\mathrm{\infty }}{\gamma }^t(R_t+\gamma v_{\pi \left(\text{θ}{\text{θ}}_k\right)}\left({\text{𝘚}}_{t+1}\right)-v_{\pi \left(\text{θ}{\text{θ}}_k\right)}\left({\text{𝘚}}_t\right))\right]$$=\E_{\pi\left(\bftheta\right)}\left[\sum\limits_{t=0}^{+\infty}{\gamma^t\left(R_t+\gamma{v_{\pi\left(\bftheta_k\right)}}\left(\sfS_{t+1}\right)-v_{\pi\left(\bftheta_k\right)}\left(\sfS_t\right)\right)}\right]$

$={\text{E}}_{\pi \left(\text{θ}\text{θ}\right)}[-v_{\pi \left(\text{θ}{\text{θ}}_k\right)}\left({\text{𝘚}}_0\right)+\sum _{t=0}^{+\mathrm{\infty }}{\gamma }^t{R}_t]$$=\E_{\pi\left(\bftheta\right)}\left[-v_{\pi\left(\bftheta_k\right)}\left(\sfS_0\right)+\sum\limits_{t=0}^{+\infty}{{\gamma^t}{R_t}}\right]$

$=-{\text{E}}_{{\text{𝘚}}_0}\left[v_{\pi \left(\text{θ}{\text{θ}}_k\right)}\left({\text{𝘚}}_0\right)\right]+{\text{E}}_{\pi \left(\text{θ}\text{θ}\right)}\left[\sum _{t=0}^{+\mathrm{\infty }}{\gamma }^t{R}_t\right]$$=-\E_{\sfS_0}\left[v_{\pi\left(\bftheta_k\right)}\left(\sfS_0\right)\right]+\E_{\pi\left(\bftheta\right)}\left[\sum\limits_{t=0}^{+\infty}{\gamma^tR_t}\right]$

$=-{\text{E}}_{\pi \left(\text{θ}{\text{θ}}_k\right)}\left[G_0\right]+{\text{E}}_{\pi \left(\text{θ}\text{θ}\right)}\left[G_0\right].$$=-\E_{\pi\left(\bftheta_k\right)}\left[G_0\right]+\E_{\pi\left(\bftheta\right)}\left[G_0\right].$

改为

${\text{E}}_{\pi \left(\text{θ}\text{θ}\right)}\left[\sum _{t=0}^{+\mathrm{\infty }}{\gamma }^t{a}_{\pi \left(\text{θ}{\text{θ}}_k\right)}({\text{𝘚}}_t,{\text{𝘈}}_t)\right]$$\E_{\pi\left(\bftheta\right)}\left[\sum\limits_{t=0}^{+\infty}{\gamma^{t}a_{\pi\left(\bftheta_k\right)}\left(\sfS_t,\sfA_t\right)}\right]$

$={\text{E}}_{\pi \left(\text{θ}\text{θ}\right)}\left[\sum _{t=0}^{+\mathrm{\infty }}{\gamma }^t(R_{t+1}+\gamma v_{\pi \left(\text{θ}{\text{θ}}_k\right)}\left({\text{𝘚}}_{t+1}\right)-v_{\pi \left(\text{θ}{\text{θ}}_k\right)}\left({\text{𝘚}}_t\right))\right]$$=\E_{\pi\left(\bftheta\right)}\left[\sum\limits_{t=0}^{+\infty}{\gamma^t\left(R_{t+1}+\gamma{v_{\pi\left(\bftheta_k\right)}}\left(\sfS_{t+1}\right)-v_{\pi\left(\bftheta_k\right)}\left(\sfS_t\right)\right)}\right]$

$={\text{E}}_{\pi \left(\text{θ}\text{θ}\right)}[-v_{\pi \left(\text{θ}{\text{θ}}_k\right)}\left({\text{𝘚}}_0\right)+\sum _{t=0}^{+\mathrm{\infty }}{\gamma }^t{R}_{t+1}]$$=\E_{\pi\left(\bftheta\right)}\left[-v_{\pi\left(\bftheta_k\right)}\left(\sfS_0\right)+\sum\limits_{t=0}^{+\infty}{\gamma^tR_{t+1}}\right]$

$=-{\text{E}}_{{\text{𝘚}}_0}\left[v_{\pi \left(\text{θ}{\text{θ}}_k\right)}\left({\text{𝘚}}_0\right)\right]+{\text{E}}_{\pi \left(\text{θ}\text{θ}\right)}\left[\sum _{t=0}^{+\mathrm{\infty }}{\gamma }^t{R}_{t+1}\right]$$=-\E_{\sfS_0}\left[v_{\pi\left(\bftheta_k\right)}\left(\sfS_0\right)\right]+\E_{\pi\left(\bftheta\right)}\left[\sum\limits_{t=0}^{+\infty}{\gamma^tR_{t+1}}\right]$

$=-{\text{E}}_{\pi \left(\text{θ}{\text{θ}}_k\right)}\left[G_0\right]+{\text{E}}_{\pi \left(\text{θ}\text{θ}\right)}\left[G_0\right].$$=-\E_{\pi\left(\bftheta_k\right)}\left[G_0\right]+\E_{\pi\left(\bftheta\right)}\left[G_0\right].$

第144页第15行和第18行（共2处）

${\text{E}}_{{\text{𝘚}}_t,{\text{𝘈}}_t\sim \pi \left(\text{θ}\text{θ}\right)}\left[a_{{\pi }_k}({\text{𝘚}}_t,{\text{𝘈}}_t)\right]$$\E_{\sfS_t,\sfA_t\sim\pi\left(\bftheta\right)}\left[a_{\pi_k}\left(\sfS_t,\sfA_t\right)\right]$

改为

${\text{E}}_{{\text{𝘚}}_t,{\text{𝘈}}_t\sim \pi \left(\text{θ}\text{θ}\right)}\left[a_{{\pi }_{\left(\text{θ}{\text{θ}}_k\right)}}({\text{𝘚}}_t,{\text{𝘈}}_t)\right]$$\E_{\sfS_t,\sfA_t\sim\pi\left(\bftheta\right)}\left[a_{\pi_{\left(\bftheta_k\right)}}\left(\sfS_t,\sfA_t\right)\right]$

第146页算法8-5第2.3步

更新$\text{θ}\text{θ}$$\bftheta$以减小

改为

更新$\text{θ}\text{θ}$$\bftheta$以增大

第147页图8-1中间线的注记

$l_{\left(\text{θ}\text{θ}\right)}$$l_{\left(\bftheta\right)}$

改为

$l\left(\text{θ}\text{θ}\right)$$l\left(\bftheta\right)$

第150页第9行

$\frac{\partial }{\partial {\alpha }_k}(\frac{1}{2}{({\mathbf{x}}_k+{\alpha }_k{\mathbf{p}}_k)}^{\mathrm{T}}\mathbf{F}({\mathbf{x}}_k+{\alpha }_k{\mathbf{p}}_k)-{\mathbf{g}}^{\mathrm{T}}({\mathbf{x}}_k+\alpha {\mathbf{p}}_k))={\alpha }_k{\mathbf{p}}_k^{\mathrm{T}}\mathbf{F}{\mathbf{p}}_k-{\mathbf{p}}_k^{\mathrm{T}}(\mathbf{F}{\mathbf{x}}_k-\mathbf{g})$$\frac{\partial}{\partial\alpha_k}\left(\frac{1}{2}{{\left(\mathbf{x}_k+\alpha_k\mathbf{p}_k\right)}^\mathrm{T}}\mathbf{F}\left(\mathbf{x}_k+\alpha_k\mathbf{p}_k\right)-\mathbf{g}^{\mathrm{T}}\left(\mathbf{x}_k+\alpha\mathbf{p}_k\right)\right)=\alpha_k\mathbf{p}_k^\mathrm{T}\mathbf{F}\mathbf{p}_k-\mathbf{p}_k^\mathrm{T}\left(\mathbf{F}\mathbf{x}_k-\mathbf{g}\right)$

改为

$\frac{\partial }{\partial {\alpha }_k}(\frac{1}{2}{({\mathbf{x}}_k+{\alpha }_k{\mathbf{p}}_k)}^{\mathrm{T}}\mathbf{F}({\mathbf{x}}_k+{\alpha }_k{\mathbf{p}}_k)-{\mathbf{g}}^{\mathrm{T}}({\mathbf{x}}_k+{\alpha }_k{\mathbf{p}}_k))={\alpha }_k{\mathbf{p}}_k^{\mathrm{T}}\mathbf{F}{\mathbf{p}}_k+{\mathbf{p}}_k^{\mathrm{T}}(\mathbf{F}{\mathbf{x}}_k-\mathbf{g})$$\frac{\partial}{\partial\alpha_k}\left(\frac{1}{2}{{\left(\mathbf{x}_k+\alpha_k\mathbf{p}_k\right)}^\mathrm{T}}\mathbf{F}\left(\mathbf{x}_k+\alpha_k\mathbf{p}_k\right)-\mathbf{g}^{\mathrm{T}}\left(\mathbf{x}_k+\alpha_k\mathbf{p}_k\right)\right)=\alpha_k\mathbf{p}_k^\mathrm{T}\mathbf{F}\mathbf{p}_k+\mathbf{p}_k^\mathrm{T}\left(\mathbf{F}\mathbf{x}_k-\mathbf{g}\right)$

第150页第11行

${\alpha }_k=\frac{{\mathbf{p}}_k^{\mathrm{T}}(\mathbf{F}{\mathbf{x}}_k-\mathbf{g})}{{\mathbf{p}}_k^{\mathrm{T}}\mathbf{F}{\mathbf{p}}_k}$$\alpha_k=\frac{\mathbf{p}_k^\mathrm{T}\left(\mathbf{F}\mathbf{x}_k-\mathbf{g}\right)}{\mathbf{p}_k^\mathrm{T}\mathbf{F}\mathbf{p}_k}$

改为

${\alpha }_k=\frac{{\mathbf{p}}_k^{\mathrm{T}}(\mathbf{g}-\mathbf{F}{\mathbf{x}}_k)}{{\mathbf{p}}_k^{\mathrm{T}}\mathbf{F}{\mathbf{p}}_k}$$\alpha_k=\frac{\mathbf{p}_k^\mathrm{T}\left(\mathbf{g}-\mathbf{F}\mathbf{x}_k\right)}{\mathbf{p}_k^\mathrm{T}\mathbf{F}\mathbf{p}_k}$

第155页第28行

$=-\sum _{\text{𝘢}}\frac{\pi (\text{𝘢}|{\text{𝘚}}_t;\text{θ}{\text{θ}}^{\mathrm{EMA}})}{\pi (\text{𝘢}|{\text{𝘚}}_t;\text{θ}\text{θ})}.$$=-\sum\limits_\sfa\frac{\pi\left(\sfa|\sfS_t;\bftheta^\mathrm{EMA}\right)}{\pi\left(\sfa|{\sfS_t};\bftheta\right)}.$

改为

$=-\sum _{\text{𝘢}}\frac{\pi (\text{𝘢}\mid {\text{𝘚}}_t;\text{θ}{\text{θ}}^{\mathrm{EMA}})}{\pi (\text{𝘢}\mid {\text{𝘚}}_t;\text{θ}\text{θ})}{\mathrm{\nabla }}_{\text{θ}\text{θ}}\pi (\text{𝘢}\mid {\text{𝘚}}_t;\text{θ}\text{θ}).$$=-\sum\limits_\sfa\frac{\pi\left(\sfa\mid\sfS_t;\bftheta^\mathrm{EMA}\right)}{\pi\left(\sfa\mid\sfS_t;\bftheta\right)} {\nabla_{\bftheta}} \pi\left(\sfa\mid\sfS_t;\bftheta\right).$

第150页算法8-7第2.1步

2.1 $\mathbf{z}\leftarrow \mathbf{Fx}$$\mathbf{z}\leftarrow\mathbf{Fx}$

改为

2.1 $\mathbf{z}\leftarrow \mathbf{Fp}$$\mathbf{z}\leftarrow\mathbf{Fp}$

第161页第4~5行

作者注：“动作价值网络和策略网络往往采用矢量形式的输出”指的是动作空间是离散动作空间的情况。如果动作空间是连续动作空间，往往用Gaussian形式的策略，详见GitHub代码。包括SAC算法在内的使用策略梯度的算法采用Gaussian形式策略后，策略被限制为了单峰（unimodal）形式。如果需要策略具有多峰（multimodal）形式，可以使用混合Gaussian模型（Gaussian Mixture Model，GMM）。

第161页8.6节

作者注：这个案例的动作空间是离散的。同时，本章介绍的算法，包括但不限于PPO、SAC等算法，也可用于动作空间是连续空间的情况。

第162页第17行

单5-7中的

改为

单5-3中的

第165页代码清单8-2前4行（中间有个空行不计入）

多缩进4个空格

第173页第9行

$\mathrm{\nabla }{v}_{\pi \left(\text{θ}\text{θ}\right)}\left({\text{𝘚}}_t\right)$$\nabla{v}_{\pi\left(\bftheta\right)}\left(\sfS_t\right)$

改为

$\mathrm{\nabla }{v}_{\pi \left(\text{θ}\text{θ}\right)}\left(\text{𝘴}\right)$$\nabla{v}_{\pi\left(\bftheta\right)}\left(\sfs\right)$

第173页第20行

$=\text{E}\left[\mathrm{\nabla }\pi ({\text{𝘚}}_0;\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}({\text{𝘚}}_0,\text{𝘢})\right]}_{\text{𝘢}=\pi ({\text{𝘚}}_0;\text{θ}\text{θ})}\right]+\gamma \text{E}\left[\mathrm{\nabla }\pi ({\text{𝘚}}_1;\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}({\text{𝘚}}_1,\text{𝘢})\right]}_{\text{𝘢}=\pi ({\text{𝘚}}_1;\text{θ}\text{θ})}\right]+{\gamma }^2\text{E}\left[\mathrm{\nabla }{v}_{\pi \left(\text{θ}\text{θ}\right)}\left({\text{𝘚}}_1\right)\right]$$=\E\left[\nabla\pi\left(\sfS_0;\bftheta\right){\left[\nabla_\sfa q_{\pi\left(\bftheta\right)}\left(\sfS_0,\sfa\right)\right]}_{\sfa=\pi\left(\sfS_0;\bftheta\right)}\right]+\gamma\E\left[\nabla\pi\left(\sfS_1;\bftheta\right){{\left[{\nabla_\sfa}{q_{\pi\left(\bftheta\right)}}\left(\sfS_1,\sfa\right)\right]}_{\sfa=\pi\left(\sfS_1;\bftheta\right)}}\right]+\gamma^2\E\left[\nabla{v}_{\pi\left(\bftheta\right)}\left(\sfS_1\right)\right]$

改为

$=\text{E}\left[\mathrm{\nabla }\pi ({\text{𝘚}}_0;\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}({\text{𝘚}}_0,\text{𝘢})\right]}_{\text{𝘢}=\pi ({\text{𝘚}}_0;\text{θ}\text{θ})}\right]+\gamma \text{E}\left[\mathrm{\nabla }\pi ({\text{𝘚}}_1;\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}({\text{𝘚}}_1,\text{𝘢})\right]}_{\text{𝘢}=\pi ({\text{𝘚}}_1;\text{θ}\text{θ})}\right]+{\gamma }^2\text{E}\left[\mathrm{\nabla }{v}_{\pi \left(\text{θ}\text{θ}\right)}\left({\text{𝘚}}_2\right)\right]$$=\E\left[\nabla\pi\left(\sfS_0;\bftheta\right){\left[{\nabla_\sfa}q_{\pi\left(\bftheta\right)}\left(\sfS_0,\sfa\right)\right]}_{\sfa=\pi\left(\sfS_0;\bftheta\right)}\right]+\gamma\E\left[\nabla\pi\left(\sfS_1;\bftheta\right){{\left[{\nabla_\sfa}{q_{\pi\left(\bftheta\right)}}\left(\sfS_1,\sfa\right)\right]}_{\sfa=\pi\left(\sfS_1;\bftheta\right)}}\right]+\gamma^2\E\left[\nabla{v}_{\pi\left(\bftheta\right)}\left(\sfS_2\right)\right]$

第174页第4行

${\rho }_{\pi }\left(\text{𝘴}\right)=\underset{{\text{𝘴}}_0\in \mathcal{S}}{\int }{p}_{{\text{𝘚}}_0}\left({\text{𝘴}}_0\right)\sum _{t=0}^{+\mathrm{\infty }}{\gamma }_{t}Pr[{\text{𝘚}}_t|{\text{𝘚}}_0={\text{𝘴}}_0;\text{θ}\text{θ}]\mathrm{d}{\text{𝘴}}_0$$\rho_\pi\left(\sfs\right)=\int\limits_{\sfs_0\in\mathcal{S}}p_{\sfS_0}\left(\sfs_0\right)\sum\limits_{t=0}^{+\infty}\gamma_t\Pr\left[\sfS_t|\sfS_0=\sfs_0;\bftheta\right]\mathrm{d}\sfs_0$

改为

${\rho }_{\pi \left(\text{θ}\text{θ}\right)}\left(\text{𝘴}\right)=\sum _{t=0}^{+\mathrm{\infty }}{\gamma }_{t}Pr[{\text{𝘚}}_t=\text{𝘴};\pi \left(\text{θ}\text{θ}\right)]$$\rho_{\pi\left(\bftheta\right)}\left(\sfs\right)=\sum\limits_{t=0}^{+\infty}\gamma_t\Pr\left[\sfS_t=\sfs;\pi\left(\bftheta\right)\right]$, $\text{𝘴}\in \mathcal{S}$$\sfs\in\mathcal{S}$

作者注：从严格意义上说，有折扣的状态分布并不是概率分布，因为它的和不总是1。针对有折扣的状态分布的期望也只是采用了期望的形式。

第174页第7~11行

$=\sum _{t=0}^{+\mathrm{\infty }}\underset{\text{𝘴}}{\int }{p}_{{\text{𝘚}}_t}\left(\text{𝘴}\right){\gamma }^t\mathrm{\nabla }\pi (\text{𝘴};\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘴}}{q}_{\pi \left(\text{θ}\text{θ}\right)}(\text{𝘴},\text{𝘢})\right]}_{\text{𝘢}=\pi ({\text{𝘚}}_t;\text{θ}\text{θ})}\mathrm{d}\text{𝘴}$$=\sum\limits_{t=0}^{+\infty}\int\limits_{\sfs}p_{\sfS_t}\left(\sfs\right)\gamma^t\nabla\pi\left(\sfs;\bftheta\right)\left[\nabla_\sfs{q}_{\pi\left(\bftheta\right)}\left(\sfs,\sfa\right)\right]_{\sfa=\pi\left(\sfS_t;\bftheta\right)}\mathrm{d}\sfs$

$=\sum _{t=0}^{+\mathrm{\infty }}\underset{\text{𝘴}}{\int }({\int }_{{\text{𝘴}}_0}\underset{{\text{𝘴}}_0}{\int }{p}_{{\text{𝘚}}_0}\left({\text{𝘴}}_0\right)Pr[{\text{𝘚}}_t=\text{𝘴}|{\text{𝘴}}_0={\text{𝘴}}_0;\text{θ}\text{θ}]\mathrm{d}{\text{𝘴}}_0){\gamma }^t\mathrm{\nabla }\pi (\text{𝘴};\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘴}}{q}_{\pi \left(\text{θ}\text{θ}\right)}(\text{𝘴},\text{𝘢})\right]}_{\text{𝘢}=\pi (\text{𝘴};\text{θ}\text{θ})}\mathrm{d}\text{𝘴}$$=\sum\limits_{t=0}^{+\infty}\int\limits_{\sfs}\left(\int_{\sfs_0}\int\limits_{\sfs_0}p_{\sfS_0}\left(\sfs_0\right)\Pr\left[\sfS_t=\sfs|\sfs_0=\sfs_0;\bftheta\right]\mathrm{d}\sfs_0\right)\gamma^t\nabla\pi\left(\sfs;\bftheta\right)\left[\nabla_\sfs{q}_{\pi\left(\bftheta\right)}\left(\sfs,\sfa\right)\right]_{\sfa=\pi\left(\sfs;\bftheta\right)}\mathrm{d}\sfs$

$=\underset{\text{𝘴}}{\int }(\underset{{\text{𝘴}}_0}{\int }{p}_{{\text{𝘚}}_0}\left({\text{𝘴}}_0\right)\sum _{t=0}^{+\mathrm{\infty }}{\gamma }^{t}Pr[{\text{𝘚}}_t=\text{𝘴}|{\text{𝘴}}_0={\text{𝘴}}_0;\text{θ}\text{θ}]\mathrm{d}{\text{𝘴}}_0)\mathrm{\nabla }\pi ({\text{𝘚}}_t;\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}\right]}_{\text{𝘢}=\pi (\text{𝘴};\text{θ}\text{θ})}\mathrm{d}\text{𝘴}$$=\int\limits_{\sfs}\left(\int\limits_{\sfs_0}p_{\sfS_0}\left(\sfs_0\right)\sum\limits_{t=0}^{+\infty}\gamma^t\Pr\left[\sfS_t=\sfs|\sfs_0=\sfs_0;\bftheta\right]\mathrm{d}\sfs_0\right)\nabla\pi\left(\sfS_t;\bftheta\right)\left[\nabla_\sfa{q}_{\pi\left(\bftheta\right)}\right]_{\sfa=\pi\left(\sfs;\bftheta\right)}\mathrm{d}\sfs$

$=\underset{\text{𝘴}}{\int }{\rho }_{\pi \left(\text{θ}\text{θ}\right)}\left(\text{𝘴}\right)\mathrm{\nabla }\pi (\text{𝘴};\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}(\text{𝘴},\text{𝘢})\right]}_{\text{𝘢}=\pi (\text{𝘴};\text{θ}\text{θ})}\mathrm{d}\text{𝘴}$$=\int\limits_{\sfs}\rho_{\pi\left(\bftheta\right)}\left(\sfs\right)\nabla\pi\left(\sfs;\bftheta\right)\left[\nabla_\sfa{q}_{\pi\left(\bftheta\right)}\left(\sfs,\sfa\right)\right]_{\sfa=\pi\left(\sfs;\bftheta\right)}\mathrm{d}\sfs$

$={\text{E}}_{{\rho }_{\pi \left(\text{θ}\text{θ}\right)}}\left[\mathrm{\nabla }\pi (\text{𝘴};\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}(\text{𝘴},\text{𝘢})\right]}_{\text{𝘢}=\pi (\text{𝘴};\text{θ}\text{θ})}\right]$$=\E_{\rho_{\pi\left(\bftheta\right)}}\left[\nabla\pi\left(\sfs;\bftheta\right)\left[\nabla_\sfa{q}_{\pi\left(\bftheta\right)}\left(\sfs,\sfa\right)\right]_{\sfa=\pi\left(\sfs;\bftheta\right)}\right]$

改为

$=\sum _{t=0}^{+\mathrm{\infty }}\sum _{\text{𝘴}}^{}Pr[{\text{𝘚}}_t=\text{𝘴};\pi \left(\text{θ}\text{θ}\right)]{\gamma }^t\mathrm{\nabla }\pi (\text{𝘴};\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}(\text{𝘴},\text{𝘢})\right]}_{\text{𝘢}=\pi (\text{𝘴};\text{θ}\text{θ})}$$=\sum\limits_{t=0}^{+\infty}\sum\limits_{\sfs}^{}\Pr\left[\sfS_t=\sfs;\pi\left(\bftheta\right)\right]\gamma^t\nabla\pi\left(\sfs;\bftheta\right)\left[\nabla_\sfa{q}_{\pi\left(\bftheta\right)}\left(\sfs,\sfa\right)\right]_{\sfa=\pi\left(\sfs;\bftheta\right)}$

$=\sum _{\text{𝘴}}^{}(\sum _{t=0}^{+\mathrm{\infty }}{\gamma }^{t}Pr[{\text{𝘚}}_t=\text{𝘴};\pi \left(\text{θ}\text{θ}\right)])\mathrm{\nabla }\pi (\text{𝘴};\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}(\text{𝘴},\text{𝘢})\right]}_{\text{𝘢}=\pi (\text{𝘴};\text{θ}\text{θ})}$$=\sum\limits_{\sfs}^{}\left(\sum\limits_{t=0}^{+\infty}\gamma^t\Pr\left[\sfS_t=\sfs;\pi\left(\bftheta\right)\right]\right)\nabla\pi\left(\sfs;\bftheta\right)\left[\nabla_\sfa{q}_{\pi\left(\bftheta\right)}\left(\sfs,\sfa\right)\right]_{\sfa=\pi\left(\sfs;\bftheta\right)}$

$=\sum _{\text{𝘴}}^{}{\rho }_{\pi \left(\text{θ}\text{θ}\right)}\left(\text{𝘴}\right)\mathrm{\nabla }\pi (\text{𝘴};\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}\right]}_{\text{𝘢}=\pi (\text{𝘴};\text{θ}\text{θ})}$$=\sum\limits_{\sfs}^{}\rho_{\pi\left(\bftheta\right)}\left(\sfs\right)\nabla\pi\left(\sfs;\bftheta\right)\left[\nabla_\sfa{q}_{\pi\left(\bftheta\right)}\right]_{\sfa=\pi\left(\sfs;\bftheta\right)}$

$={\text{E}}_{{\rho }_{\pi \left(\text{θ}\text{θ}\right)}}\left[\mathrm{\nabla }\pi (\text{𝘚};\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_{\text{𝘢}}{q}_{\pi \left(\text{θ}\text{θ}\right)}(\text{𝘚},\text{𝘢})\right]}_{\text{𝘢}=\pi (\text{𝘚};\text{θ}\text{θ})}\right]$$=\E_{\rho_{\pi\left(\bftheta\right)}}\left[\nabla\pi\left(\sfS;\bftheta\right)\left[\nabla_\sfa{q}_{\pi\left(\bftheta\right)}\left(\sfS,\sfa\right)\right]_{\sfa=\pi\left(\sfS;\bftheta\right)}\right]$

第176页第12行

${\sigma }^2{e}^{-\theta (t+s)}\text{E}\left[{\int }_0^t{e}^{\theta \tau }\mathrm{d}{B}_t{\int }_0^s{e}^{\theta \tau }\mathrm{d}{B}_t\right]$$\sigma^2e^{-\theta\left(t+s\right)}\E\left[\int_{0}^{t}e^{\theta\tau}\mathrm{d}B_t\int_{0}^{s}e^{\theta\tau}\mathrm{d}B_t\right]$

改为

${\sigma }^2{e}^{-\theta (t+s)}\text{E}\left[{\int }_0^t{e}^{\theta \tau }\mathrm{d}{B}_{\tau }{\int }_0^s{e}^{\theta \tau }\mathrm{d}{B}_{\tau }\right]$$\sigma^2e^{-\theta\left(t+s\right)}\E\left[\int_{0}^{t}e^{\theta\tau}\mathrm{d}B_\tau\int_{0}^{s}e^{\theta\tau}\mathrm{d}B_\tau\right]$

第176页到第177页9.2节正文

改为

对于连续的动作空间，我们希望能够找到一个确定性策略，使得每条轨迹的回报最大。同策确定性算法利用策略$\pi \left(\text{θ}\text{θ}\right)$$\pi\left(\bftheta\right)$生成轨迹，并在这些轨迹上求得回报的平均值，通过让平均回报最大，使得每条轨迹上的回报尽可能大。事实上，如果每条轨迹的回报都要最大，那么对于任意策略$b$$b$采样得到的轨迹，我们都希望在这套轨迹上的平均回报最大。所以异策确定性策略算法引入确定性行为策略$b$$b$，将这个平均改为针对策略$b$$b$采样得到的轨迹，得到异策确定性梯度为$\mathrm{\nabla }{\text{E}}_{{\rho }_b}\left[q_{\pi \left(\text{θ}\text{θ}\right)}(\text{𝘚},\pi (\text{𝘚};\text{θ}\text{θ}))\right]={\text{E}}_{{\rho }_b}\left[\mathrm{\nabla }\pi (\text{𝘚};\text{θ}\text{θ}){\left[{\mathrm{\nabla }}_a{q}_{\pi \left(\text{θ}\text{θ}\right)}(\text{𝘚},\text{𝘢})\right]}_{\text{𝘢}=\pi (\text{𝘚};\text{θ}\text{θ})}\right]$$\nabla\E_{\rho_b}\left[q_{\pi\left(\bftheta\right)}\left(\sfS,\pi\left(\sfS;\bftheta\right)\right)\right]=\E_{\rho_b}\left[\nabla\pi\left(\sfS;\bftheta\right)\left[\nabla_a{q}_{\pi\left(\bftheta\right)}\left(\sfS,\sfa\right)\right]_{\sfa=\pi\left(\sfS;\bftheta\right)}\right]$。这个表达式与同策的情形相比，期望运算针对的表达式相同。所以，异策确定性算法的迭代式与同策确定性算法的迭代式相同。

异策确定性算法可能比同策确定性算法性能好的原因在于，行为策略可能会促进探索，用行为策略采样得到的轨迹能够更加全面的探索轨迹空间。这时候，最大化对轨迹分布的平均期望时能够同时考虑到更多不同的轨迹，使得在整个轨迹空间上的所有轨迹的回报会更大。

与非确定性策略梯度相比，非确定性异策算法的迭代式中含有重采样因子$\frac{\pi ({\text{𝘈}}_t|{\text{𝘚}}_t;\text{θ}\text{θ})}{b({\text{𝘈}}_t|{\text{𝘚}}_t)}$$\frac{\pi\left(\sfA_t|\sfS_t;\bftheta\right)}{b\left(\sfA_t|\sfS_t\right)}$，而确定性异策算法中没有。这是因为，确定性的行为策略$b$$b$并不对于确定性的目标策略$\pi \left(\text{θ}\text{θ}\right)$$\pi\left(\bftheta\right)$绝对连续，重采样因子没有定义，所以不包括重采样因子。

第177页算法9-2第2.3.1步

2.3.1（执行）用$b(\cdot \mid \text{𝘚})$$b(\cdot\mid\sfS)$得到

改为

2.3.1（执行）用行为策略$b(\text{𝘚})$$b(\sfS)$得到

第180页9.3节

作者注：Gym 0.21版本将Pendulum-v0改为Pendulum-v1。

第180页图9-1

改为

第180页第4行

$X$$X$轴是水平向下的，$Y$$Y$轴是水平向右的。

改为

$X$$X$轴是水平向上的，$Y$$Y$轴是水平向左的。

第188页10.1节

作者注：Gym 0.21版本修改了Atari游戏环境的安装方式。

第191页表10-1（共4处）

NoFrameSkip

改为

NoFrameskip

第207页图11-3

改为