PyTorch 深度学习和图神经网络

（卷1）/基础知识 （卷2）/开发应用
李金洪 著

第一篇 入门——PyTorch基础

第5章 神经网络的基本原理与实现


5.1 了解深度学习中神经网络与神经元

5.1.1 了解单个神经元（Page60， Page61）
5.1.2 生物神经元与计算机神经元模型的结构相似性（Page62）
5.1.3 生物神经元与计算机神经元模型工作流程相似性（Page63）
5.1.4 神经网络的形成（Page63）

5.2 深度学习中的基础神经网络模型 （Page63）

 5.8 Softmax算法——处理分类问题 （Page79）

5.8.1 什么是Softmax（Page80）
5.8.2 Softmax原理（Page80）
5.8.3 常用的Softmax接口（Page80）
5.8.4 实例3： Softmax与交叉熵的应用（Page81）
5.8.5 总结：更好地认识Softmax（Page82）
5.3 什么是全连接神经网络

5.3.1 全连接神经网络的结构（Page64）
5.3.2 实例2： 分析全连接神经网络中每个神经元的作用
（Page64， Pag65）
5.3.3 全连接神经网络的拟合原理（Page66）
5.3.4 （Page67）		 5.9 优化器模块

5.9.1 了解反向传播与BP算法（Page82）
5.9.2 优化器与梯度下降（Page83）
5.9.3 优化器的类别（Page83）
5.9.4 优化器的使用方法（Page83）
5.9.5 查看优化器的参数结构（Page84）
5.9.6 常用的优化器——Adam（Page85）
5.9.7 更好的优化器——Ranger（Page85）
5.9.8 如何选取优化器（Page85）
5.4 激活函数——加入非线性因素，弥补线性模型缺陷

5.4.1 Sigmoid函数（Page68）
5.4.2 tanh函数（Page69）
5.4.3 ReLU函数（Page70， Page71）
5.4.4 激活函数的多种形式（Page72）
5.4.5 扩展1：更好的激活函数（Page73）
5.4.6 扩展2：更适合NLP任务的激活函数（GELU）（Page74）		 5.10 退化学习率——在训练的速度与精度之间找到平衡

5.10.1 设置学习率的方法——退化学习率（Page86）
5.10.2退化学习率接口 （Page87）
5.10.3 使用lr_scheduler接口实现多种退化学习率
（Page88, Page89, Page90）

5.5 激活函数总结 （Page75）

5.6 训练模型的步骤与方法 （Page76）

 5.11 实例4： 预测泰坦尼克号船上的生存乘客

5.11.1 载入样本（Page91）
5.11.2 样本的特征分析——离散数据结构与连续数据（Page92）
5.11.3 处理样本中的离散数据和Nan值（Page93, Page94）
5.11.4 分离样本和标签并制作数据集（Page95）
5.11.5 定义Mish激活函数与多层全连接网络（Page96）
5.11.6 训练模型并输出结果（Page97, Page98）
5.7 神经网络模块(nn)中的损失函数

5.7.1 L1损失函数（Page76）
5.7.2 均值平方差（MSE)s损失函数（Page77）
5.7.3 交叉熵损失（CrossEntropLoss）函数（Page77）
5.7.4 其它的损失函数（Page78）
5.7.5 总结：损失函数发选取（Page79）

返回首页