深入浅出PyTorch 从模型到源码PDF电子书下载

查看更多关于的内容

第1章 深度学习概念简介 1

1.1深度学习的历史 1

1.1.1深度学习的发展过程 1

1.1.2深度学习在计算机视觉领域的发展 2

1.1.3深度学习在自然语言处理和其他领域的发展 5

1.2机器学习基本概念 7

1.2.1机器学习的主要任务 7

1.2.2机器模型的类型 8

1.2.3损失函数以及模型的拟合 10

1.3深度学习基本概念 13

1.3.1向量、矩阵和张量及其运算 14

1.3.2张量的存储 18

1.3.3神经元的概念 18

1.4输入数据的表示方式 19

1.4.1图像数据的表示方式 19

1.4.2文本数据的表示方式 21

1.4.3音频数据的表示方式 22

1.5线性变换和激活函数 25

1.5.1全连接线性变换 25

1.5.2卷积线性变换 27

1.5.3激活函数 28

1.6链式求导法则和反向传播 31

1.6.1基于链式求导的梯度计算 31

1.6.2激活函数的导数 33

1.6.3数值梯度 35

1.7损失函数和优化器 36

1.7.1常用的损失函数 36

1.7.2基于梯度的优化器 37

1.7.3学习率衰减和权重衰减 41

1.8本章总结 42

第2章 PyTorch深度学习框架简介 43

2.1深度学习框架简介 43

2.1.1深度学习框架中的张量 43

2.1.2深度学习框架中的计算图 44

2.1.3深度学习框架中的自动求导和反向传播 45

2.2 PyTorch框架历史和特性更迭 46

2.3 PyTorch的安装过程 48

2.4 PyTorch包的结构 51

2.4.1 PyTorch的主要模块 51

2.4.2 PyTorch的辅助工具模块 56

2.5 PyTorch中张量的创建和维度的操作 58

2.5.1张量的数据类型 58

2.5.2张量的创建方式 60

2.5.3张量的存储设备 64

2.5.4和张量维度相关的方法 65

2.5.5张量的索引和切片 68

2.6 PyTorch中张量的运算 69

2.6.1涉及单个张量的函数运算 69

2.6.2涉及多个张量的函数运算 71

2.6.3张量的极值和排序 72

2.6.4矩阵的乘法和张量的缩并 74

2.6.5张量的拼接和分割 76

2.6.6张量维度的扩增和压缩 78

2.6.7张量的广播 79

2.7 PyTorch中的模块简介 80

2.7.1模块类 80

2.7.2基于模块类的简单线性回归类 81

2.7.3线性回归类的实例化和方法调用 83

2.8 PyTorch的计算图和自动求导机制 85

2.8.1自动求导机制简介 85

2.8.2自动求导机制实例 86

2.8.3梯度函数的使用 87

2.8.4计算图构建的启用和禁用 88

2.9 PyTorch的损失函数和优化器 89

2.9.1损失函数 89

2.9.2优化器 91

2.10 PyTorch中数据的输入和预处理 94

2.10.1数据载入类 94

2.10.2映射类型的数据集 95

2.10.3 torchvision工具包的使用 96

2.10.4可迭代类型的数据集 99

2.11 PyTorch模型的保存和加载 100

2.11.1模块和张量的序列化及反序列化 100

2.11.2模块状态字典的保存和载入 102

2.12 PyTorch数据的可视化 103

2.12.1 TensorBoard的安装和使用 104

2.12.2 TensorBoard的常用可视化数据类型 107

2.13 PyTorch模型的并行化 109

2.13.1数据并行化 110

2.13.2分布式数据并行化 111

2.14本章总结 115

第3章 PyTorch计算机视觉模块 118

3.1计算机视觉基本概念 118

3.1.1计算机视觉任务简介 118

3.1.2基础图像变换操作 119

3.1.3图像特征提取 122

3.1.4滤波器的概念 124

3.2线性层 125

3.3卷积层 127

3.4归一化层 136

3.5池化层 143

3.6丢弃层 148

3.7模块的组合 150

3.8特征提取 152

3.9模型初始化 156

3.10常见模型结构 159

3.10.1 InceptionNet的结构 159

3.10.2 ResNet的结构 163

3.11本章总结 166

第4章 PyTorch机器视觉案例 168

4.1常见计算机视觉任务和数据集 168

4.1.1图像分类任务简介 168

4.1.2目标检测任务简介 169

4.1.3图像分割任务简介 170

4.1.4图像生成任务简介 171

4.1.5常用深度学习公开数据集 172

4.2手写数字识别：LeNet 174

4.2.1深度学习工程的结构 174

4.2.2 MNIST数据集的准备 176

4.2.3 LeNet网络的搭建 178

4.2.4 LeNet网络的训练和测试 181

4.2.5超参数的修改和argparse库的使用 184

4.3图像分类：ResNet和InceptionNet 186

4.3.1 ImageNet数据集的使用 186

4.3.2 ResNet网络的搭建 188

4.3.3 InceptionNet网络的搭建 192

4.4目标检测：SSD 203

4.4.1 SSD的骨架网络结构 203

4.4.2 SSD的特征提取网络结构 204

4.4.3锚点框和选框预测 209

4.4.4输入数据的预处理 213

4.4.5损失函数的计算 215

4.4.6模型的预测和非极大抑制算法 217

4.5图像分割：FCN和U-Net 218

4.5.1 FCN网络结构 219

4.5.2 U-Net网络结构 223

4.6图像风格迁移 227

4.6.1图像风格迁移算法介绍 228

4.6.2输入图像的特征提取 230

4.6.3输入图像的优化 233

4.7生成模型：VAE和GAN 235

4.7.1变分自编码器介绍 236

4.7.2变分自编码器的实现 238

4.7.3生成对抗网络介绍 241

4.7.4生成对抗网络的实现 242

4.8本章总结 247

第5章 PyTorch自然语言处理模块 249

5.1自然语言处理基本概念 249

5.1.1机器翻译相关的自然语言处理研究 249

5.1.2其他领域的自然语言处理研究 251

5.1.3自然语言处理中特征提取的预处理 252

5.1.4自然语言处理中词频特征的计算方法 254

5.1.5自然语言处理中TF-IDF特征的计算方法 256

5.2词嵌入层 259

5.3循环神经网络层：GRU和LSTM 265

5.3.1简单循环神经网络 265

5.3.2长短时记忆网络（LSTM） 267

5.3.3门控循环单元（GRU） 269

5.4注意力机制 278

5.5自注意力机制 282

5.5.1循环神经网络的问题 282

5.5.2自注意力机制的基础结构 283

5.5.3使用自注意力机制构建Seq2Seq模型 286

5.5.4 PyTorch中自注意力机制的模块 288

5.5.5 Pytorch中的Transformer模块 290

5.6本章总结 291

第6章 PyTorch自然语言处理案例 293

6.1 word2vec算法训练词向量 293

6.1.1单词表的创建 293

6.1.2 word2vec算法的实现 297

6.1.3 word2vec算法的特性 299

6.2基于循环神经网络的情感分析 300

6.3基于循环神经网络的语言模型 303

6.3.1语言模型简介 303

6.3.2语言模型的代码 306

6.4 Seq2Seq模型及其应用 309

6.4.1 Seq2Seq模型的结构 309

6.4.2 Seq2Seq模型编码器的代码 310

6.4.3 Seq2Seq模型注意力机制的代码 313

6.4.4 Seq2Seq模型解码器的代码 315

6.5 BERT模型及其应用 319

6.5.1 BERT模型的结构 319

6.5.2 BERT模型的训练方法 323

6.5.3 BERT模型的微调 325

6.6本章总结 326

第7章 其他重要模型 328

7.1基于宽深模型的推荐系统 328

7.1.1推荐系统介绍 328

7.1.2宽深模型介绍 329

7.2 DeepSpeech模型和CTC损失函数 333

7.2.1语音识别模型介绍 333

7.2.2 CTC损失函数 335

7.3使用Tacotron和WaveNet进行语音合成 340

7.3.1 Tacotron模型中基于Seq2Seq的梅尔过滤器特征合成 341

7.3.2 Tacotron模型的代码 342

7.3.3 WaveNet模型介绍 350

7.3.4因果卷积模块介绍 353

7.3.5因果卷积模块的代码 354

7.3.6 WaveNet模型的代码 356

7.4基于DQN的强化学习算法 358

7.4.1强化学习的基础概念 358

7.4.2强化学习的环境 359

7.4.3 DQN模型的原理 361

7.4.4 DQN模型及其训练过程 362

7.5使用半精度浮点数训练模型 366

7.5.1半精度浮点数的介绍 367

7.5.2半精度模型的训练 368

7.5.3 apex扩展包的使用 369

7.6本章总结 371

第8章 PyTorch高级应用 372

8.1 PyTorch自定义激活函数和梯度 372

8.2在PyTorch中编写扩展 374

8.3正向传播和反向传播的钩子 381

8.4 PyTorch的静态计算图 385

8.5静态计算图模型的保存和使用 390

8.6本章总结 393

第9章 PyTorch源代码解析 394

9.1 ATen张量计算库简介 394

9.2 C++的Python接口 397

9.3 csrc模块简介 401

9.4 autograd和自动求导机制 405

9.5 C10张量计算库简介 406

9.6本章总结 408

参考资料 409

查看更多关于的内容