《深度强化学习》内容简介与阅读建议

Name: 深度强化学习
Author: 王树森/黎彧君/张志华
ISBN: 9787115600691

获取这本书 暂无已核验电子书资源

下载

作者: 王树森/黎彧君/张志华
分类: 科技技术
出版年份: 2022
出版社: 人民邮电出版社
页数: 294 页
语言: 中文

学习王树森 DQN 计算机类

《深度强化学习》内容简介

本书基于备受读者推崇的王树森“深度强化学习”系列公开视频课，专门解决“入门深度强化学习难”的问题。

《深度强化学习》书籍信息摘要

《深度强化学习》内容简介与阅读建议，作者王树森/黎彧君/张志华，科技技术，2022年。获取前建议核对作者、出版社、年份、ISBN、版本和正版渠道。相关主题：学习、王树森、DQN、计算机类。

作者：王树森/黎彧君/张志华
分类：科技技术
出版年份：2022
出版社：人民邮电出版社
页数：294 页
语言：中文
格式：暂无已核验合规下载格式

《深度强化学习》适合哪些读者？

适合希望系统学习技术概念、实践方法、工具使用和行业知识的读者。

查看王树森/黎彧君/张志华的作品顺序浏览科技技术书籍查看“学习”相关书籍读完这本读什么查看书籍排行榜

获取建议

《深度强化学习》怎么获取更合适？

优先确认版本和阅读目的；下载区只展示已核验的公版、授权、开放许可或官方试读资源。

下载

暂无已核验电子书资源；本站不展示未授权完整文件。

下载

版本

优先选择作者、译者、出版社、出版年份和 ISBN 信息明确的版本；经典作品可优先选择校注、导读或权威出版社版本。

1.1.3 softmax分类器 7
1.2 神经网络 10
1.2.1 全连接神经网络 10
1.2.2 卷积神经网络 11
1.3 梯度下降和反向传播 12
1.3.1 梯度下降 13
1.3.2 反向传播 14
知识点小结 16
习题 16
第 2章蒙特卡洛方法 18
2.1 随机变量 18
2.2 蒙特卡洛方法实例 21
2.2.1 例一：近似π值 21
2.2.2 例二：估算阴影部分面积 23
2.2.3 例三：近似定积分 25
2.2.4 例四：近似期望 26
2.2.5 例五：随机梯度 27
知识点小结 29
习题 29
第3章强化学习基本概念 31
3.1 马尔可夫决策过程 31
3.1.1 状态、动作、奖励 31
3.1.2 状态转移 32
3.2 策略 33
3.3 随机性 35
3.4 回报与折扣回报 37
3.4.1 回报 37
3.4.2 折扣回报 37
3.4.3 回报中的随机性 38
3.4.4 有限期MDP和无限期MDP 39
3.5 价值函数 39
3.5.1 动作价值函数 40
3.5.2 动作价值函数 40
3.5.3 状态价值函数 41
3.6 实验环境：OpenAI Gym 42
知识点小结 44
习题 44
第二部分价值学习
第4章 DQN与Q学习 48
4.1 DQN 48
4.1.1 概念回顾 48
4.1.2 DQN表达式 49
4.1.3 DQN的梯度 50
4.2 TD算法 50
4.2.1 驾车时间预测示例 50
4.2.2 TD算法的原理 51
4.3 用TD训练DQN 53
4.3.1 算法推导 53
4.3.2 训练流程 55
4.4 Q 学习算法 57
4.4.1 表格形式的Q学习 57
4.4.2 算法推导 57
4.4.3 训练流程 58
4.5 同策略与异策略 59
相关文献 60
知识点小结 61
习题 61
第5章 SARSA算法 63
5.1 表格形式的SARSA 63
5.1.1 算法推导 63
5.1.2 训练流程 64
5.1.3 Q学习与SARSA的对比 65
5.2 神经网络形式的SARSA 66
5.2.1 价值网络 66
5.2.2 算法推导 66
5.2.3 训练流程 67
5.3 多步TD目标 68
5.3.1 算法推导 68
5.3.2 多步TD目标的原理 69
5.3.3 训练流程 70
5.4 蒙特卡洛方法与自举 70
5.4.1 蒙特卡洛方法 71
5.4.2 自举 71
5.4.3 蒙特卡洛方法和自举的对比 72
相关文献 73
知识点小结 73
习题 74
第6章价值学习高级技巧 75
6.1 经验回放 75
6.1.1 经验回放的优点 76
6.1.2 经验回放的局限性 76
6.1.3 优先经验回放 77
6.2 高估问题及解决方法 79
6.2.1 自举导致偏差传播 79
6.2.2 化导致高估 80
6.2.3 高估的危害 81
6.2.4 使用目标网络 82
6.2.5 双Q学习算法 84
6.2.6 总结 85
6.3 对决网络 86
6.3.1 优势函数 86
6.3.2 对决网络的结构 87
6.3.3 解决不性 88
6.3.4 对决网络的实际实现 89
6.4 噪声网络 90
6.4.1 噪声网络的原理 90
6.4.2 噪声DQN 91
6.4.3 训练流程 93
相关文献 94
知识点小结 94
习题 94
第三部分策略学习
第7章策略梯度方法 98
7.1 策略网络 98
7.2 策略学习的目标函数 99
7.3 策略梯度定理 101
7.3.1 简化证明 101
7.3.2 严格证明 102
7.3.3 近似策略梯度 106
7.4 REINFORCE 107
7.4.1 简化推导 108
7.4.2 训练流程 108
7.4.3 严格推导 109
7.5 actor-critic 110
7.5.1 价值网络 110
7.5.2 算法推导 111
7.5.3 训练流程 114
7.5.4 用目标网络改进训练 114
相关文献 115
知识点小结 115
习题 116
第8章带基线的策略梯度方法 117
8.1 策略梯度中的基线 117
8.1.1 基线的引入 117
8.1.2 基线的直观解释 118
8.2 带基线的REINFORCE算法 119
8.2.1 策略网络和价值网络 120
8.2.2 算法推导 121
8.2.3 训练流程 121
8.3 advantage actor-critic 122
8.3.1 算法推导 123
8.3.2 训练流程 125
8.3.3 用目标网络改进训练 126
8.4 证明带基线的策略梯度定理 127
知识点小结 128
习题 128
第9章策略学习高级技巧 129
9.1 置信域策略优化 129
9.1.1 置信域方法 129
9.1.2 策略学习的目标函数 132
9.1.3 算法推导 133
9.1.4 训练流程 135
9.2 策略学习中的熵正则 135
相关文献 138
知识点小结 138
第 10章连续控制 139
10.1 连续空间的离散化 139
10.2 深度确定性策略梯度 140
10.2.1 策略网络和价值网络 140
10.2.2 算法推导 142
10.3 深入分析DDPG 145
10.3.1 从策略学习的角度看待DDPG 145
10.3.2 从价值学习的角度看待DDPG 146
10.3.3 DDPG的高估问题 147
10.4 双延迟深度确定性策略梯度 148
10.4.1 高估问题的解决方案——目标网络 148
10.4.2 高估问题的解决方案——截断双Q学习 148
10.4.3 其他改进点 149
10.4.4 训练流程 150
10.5 随机高斯策略 151
10.5.1 基本思路 152
10.5.2 随机高斯策略网络 153
10.5.3 策略梯度 154
10.5.4 用REINFORCE学习参数 155
10.5.5 用actor-critic学习参数 155
相关文献 157
知识点小结 157
第 11章对状态的不完全观测 158
11.1 不完全观测问题 158
11.2 循环神经网络 159
11.3 基于RNN的策略网络 161
相关文献 162
知识点小结 163
习题 163
第 12章模仿学习 165
12.1 行为克隆 165
12.1.1 连续控制问题 165
12.1.2 离散控制问题 166
12.1.3 行为克隆与强化学习的对比 168
12.2 逆向强化学习 169
12.2.1 IRL的基本设定 169
12.2.2 IRL的基本思想 170
12.2.3 从黑箱策略反推奖励 170
12.2.4 用奖励函数训练策略网络 171
12.3 生成判别模仿学习 171
12.3.1 生成判别网络 172
12.3.2 GAIL的生成器和判别器 175
12.3.3 GAIL的训练 176
相关文献 178
知识点小结 179
第四部分多智能体强化学习
第 13章并行计算 182
13.1 并行计算基础 182
13.1.1 并行梯度下降 182
13.1.2 MapReduce 183
13.1.3 用 MapReduce实现并行梯度下降 184
13.1.4 并行计算的代价 187
13.2 同步与异步 188
13.2.1 同步算法 188
13.2.2 异步算法 189
13.2.3 同步梯度下降与异步梯度下降的对比 191
13.3 并行强化学习 191
13.3.1 异步并行双Q学习 191
13.3.2 A3C：异步并行A2C 193
相关文献 195
知识点小结 195
习题 196
第 14章多智能体系统 197
14.1 常见设定 197
14.2 基本概念 199
14.2.1 专业术语 199
14.2.2 策略网络 200
14.2.3 动作价值函数 200
14.2.4 状态价值函数 201
14.3 实验环境 202
14.3.1 multi-agent particle world 202
14.3.2 StarCraft multi-agent challenge 204
14.3.3 Hanabi Challenge 205
相关文献 206
知识点小结 206
第 15章完全合作关系设定下的多智能体强化学习 207
15.1 完全合作关系设定下的策略学习 208
15.2 完全合作关系设定下的多智能体A2C 209
15.2.1 策略网络和价值网络 209
15.2.2 训练和决策 211
15.2.3 实现中的难点 212
15.3 三种架构 213
15.3.1 中心化训练中心化决策 214
15.3.2 去中心化训练去中心化决策 215
15.3.3 中心化训练去中心化决策 217
相关文献 219
知识点小结 220
习题 220
第 16章非合作关系设定下的多智能体强化学习 221
16.1 非合作关系设定下的策略学习 222
16.1.1 非合作关系设定下的目标函数 222
16.1.2 收敛的判别 223
16.1.3 评价策略的优劣 223
16.2 非合作关系设定下的多智能体A2C 224
16.2.1 策略网络和价值网络 224
16.2.2 算法推导 225
16.2.3 训练 226
16.2.4 决策 227
16.3 三种架构 227
16.3.1 中心化训练中心化决策 227
16.3.2 去中心化训练去中心化决策 228
16.3.3 中心化训练去中心化决策 229
16.4 连续控制与MADDPG 231
16.4.1 策略网络和价值网络 231
16.4.2 算法推导 232
16.4.3 中心化训练 234
16.4.4 去中心化决策 236
相关文献 237
知识点小结 237
第 17章注意力机制与多智能体强化学习 238
17.1 自注意力机制 238
17.1.1 自注意力层 239
17.1.2 多头自注意力层 241
17.2 自注意力改进多智能体强化学习 242
17.2.1 不使用自注意力的状态价值网络 242
17.2.2 使用自注意力的状态价值网络 243
17.2.3 使用自注意力的动作价值网络 244
17.2.4 使用自注意力的中心化策略网络 244
17.2.5 总结 245
相关文献 245
知识点小结 245
习题 246
第五部分应用与展望
第 18章 AlphaGo与蒙特卡洛树搜索 248
18.1 强化学习眼中的围棋 248
18.2 蒙特卡洛树搜索 250
18.2.1 MCTS的基本思想 250
18.2.2 MCTS的四个步骤 250
18.2.3 MCTS的决策 255
18.3 训练策略网络和价值网络 255
18.3.1 AlphaGo 2016版本的训练 256
18.3.2 AlphaGo Zero版本的训练 258
相关文献 260
知识点小结 260
习题 261
第 19章现实世界中的应用 262
19.1 神经网络结构搜索 262
19.1.1 超参数和交叉验证 262
19.1.2 强化学习方法 264
19.2 自动生成SQL语句 266
19.3 推荐系统 268
19.4 网约车调度 270
19.4.1 价值学习 271
19.4.2 派单机制 271
19.5 强化学习与监督学习的对比 273
19.5.1 决策是否改变环境 273
19.5.2 当前奖励还是长线回报 274

合规获取说明

当前暂无已核验电子书资源。若是商业出版物，建议优先通过出版社、书店或官方电子书平台获取。

常见问题

《深度强化学习》适合谁读？

适合希望系统学习技术概念、实践方法、工具使用和行业知识的读者。

《深度强化学习》阅读难度高吗？

建议先看简介、目录、作者和相关书籍，再判断是否适合当前阶段阅读。

《深度强化学习》纸质书值得买吗？

当前暂未接入已核验的纸质书购买链接，建议通过出版社、京东、当当等正版渠道核对版本后购买。

《深度强化学习》哪个版本更适合？

优先选择作者、译者、出版社、出版年份和 ISBN 信息清楚的版本；经典作品可优先选择校注、导读或权威出版社版本。

在哪里可以合法获取《深度强化学习》？

当前没有确认授权的电子书下载资源，也暂未接入已核验购买链接；商业出版物不提供未授权下载，建议通过出版社、京东、当当或官方电子书平台核对获取。

如何继续查找《深度强化学习》相关书籍？

可以进入王树森/黎彧君/张志华作者页查看其他作品，也可以通过分类、标签、排行榜、人工推荐和“读完这本还可以读”继续发现相近主题。