7.1 从视觉的角度理解卷积神经网络
7.1.1 生物视觉系统原理（Page120）
7.1.2 微积分（Page120）
7.1.3 离散微分与离散积分（Page120）
7.1.4 视觉神经网络中的离散积分（Page121） |
7.2 卷积神经网络的结构
7.2.1 卷积神经网络的工作过程（Page122）
7.2.2 卷积神经网络与全连接网络的区别（Page123）
7.2.3 了解1D网络，2D网络和3D网络卷积（Page123）
7.2.4 实例分析：Sobel算子的原理（Page123, 124,125）
7.2.5 深层神经网络的卷积核（Page126）
7.2.6 理解卷积的数学意义-----卷积分（Page126） |
7.3 卷积神经网络的实现
7.3.1 了解卷积接口（Page127,128）
7.3.2 卷积操作的类型（Page129）
7.3.3 卷积参数与卷积结果的计算 规则（Page130）
7.3.4 实例6：卷积函数的使用（Page130, 131,132,133,134）
7.3.5 实例7：使用卷积提取图片的轮廓（Page135,136,137）
|
7.4 深层卷积神经网络
7.4.1 深层卷积神经网络组成（Page138,139）
7.4.2 池化操作（Page140）
7.4.3 了解池化接口（Page140）
7.4.4 实例8： 池化函数的使用（Page141,142）
7.4.5 实例9：搭建卷积神经网络（Page143,144）
|
7.5 循环神经网络结构
7.5.1 了解人的记忆原理（Page145）
7.5.2 循环神经网络的应用领域（Page146）
7.5.3 循环神经网络的正向传播过程（Page147）
7.5.4 BP算法与BPTT算法的原理（Page148）
7.5.5 实例10： 简单循环神经网络实现——设计一个退位减法器
（Page149,150,151,152,153）
|
7.6 常见的循环神经网络单元及结构(Page154)
7.6.1 长短记忆（LSTM）单元（Page155,156）
7.6.2 门控循环单元（RGU）（Page157）
7.6.3 只有忘记门的LSTM（JANET）（Page158）
7.6.4 独立循环（IndRNN)单元（Page158）
7.6.5 双向RNN结构（Page159）
|
|
7.7 实例11： 用循环神经网络训练语言模型（Page160）
7.7.1 什么是语言模型（Page161）
7.7.2 词表与词向量（Page161）
7.7.3 词向量的原理与实现（Page161）
7.7.4 NLP中多项式分布（Page162）
7.7.5 循环神经网络的实现（Page163）
7.7.6 实现语言模型的思路和步骤（Page164）
7.7.7 代码实现：准备样本（Page165,166）
7.7.8 代码实现： 构建循环神经网络模型（RNN）（Page167）
7.7.9 代码实现：实例化模型类，并训练模型（Page168.169,170）
7.7.10 代码实现：运行模型生成句子（Page171） |
7.8 过拟合问题及优化技巧
7.8.1 实例12：训练具有过拟合问题的模型（Page172,173,174）
7.8.2改善模型过拟合的方法 （Page175）
7.8.3 了解正则化（Page175）
7.8.4 实例13：用L2正则化改善模型的过拟合状况 （Page176,177）
7.8.5 实例14：通过增大数据集改善模型的过拟合状况 （Page178）
7.8.6 Dropout方法（Page179）
7.8.7 实例15：通过Drouout方法改善模型过拟合状况（Page180,181）
7.8.8 全连接网络的深浅与泛化能力的联系（Page182）
7.8.9 了解批量归一化（BN）算法（Page182,183,184）
7.8.10 实例16：手动实现批量归一化的计算方法 （Page185,186）
7.8.11 实例17：通过批量归一化方法改善模型的过拟合状况（Page187）
7.8.12 使用批量归一化方法的注意事项（Page188）
7.8.13 扩展：多种批量归一化算法介绍（Page188），（Page189） |
7.9 神经网络的注意力机制
7.9.1 注意力机制的实现（Page189）
7.9.2 注意力机制的实现的软，硬模式（Page190）
7.9.3 注意力机制的实现模型原理（Page190）
7.9.4 多头注意力机制（Page191）
7.9.5 自注意力机制（Page192） |
7.10 实例18：利用注意力循环神经网络对图片分类
7.10.1 循环神经网络处理图片分类任务的原理（Page192）
7.10.2 代码实现：搭建LSTM网络模型（Page193）
7.10.3 代码实现：构建注意力机制（Page193,194,195）
7.10.4 代码实现：构建输入数据并训练（Page196）
7.10.5 使用并评估模型（Page197）
7.10.6 扩展1：使用梯度剪辑技巧优化训练过程 （Page197）
7.10.7 扩展2：使用JANET单元完成RNN（Page198）
7.10.8 扩展3：使用IndRNN单元实现RNN（Page198） |
|
