第一部分 引言 3
第1章 绪论 3
1.1 神经网络 4
1.2 深度学习 7
1.3 梯度下降法 8
1.4 小结 10
1.5 本书结构 10
第2章 通用数学框架 13
2.1 机器学习与计算统计学 13
2.2 小结 17
第3章 优化理论简述 19
3.1 机器学习所需的优化理论 20
3.2 在线算法：机器学习的顺序更新 30
3.3 小结 32
第4章 改进的CoCoSSC方法 35
4.1 问题描述 35
4.2 梯度加速下降法 37
4.3 CoCoSSC方法 37
4.4 在线时变粘性网算法 39
4.5 小结 40
第5章 关键术语 41
5.1 一些定义 41
5.2 小结 44
第6章 关于非凸规划几何的相关研究 45
6.1 多元时间序列数据集 48
6.2 粒子学习 50
6.3 在气候变化中的应用 50
6.4 小结 51
第二部分 机器学习的数学框架：理论部分 55
第7章 收敛到最小值的梯度下降法：最优和自适应的步长规则 55
7.1 引言 55
7.2 符号与预备知识 59
7.3 最大允许步长 62
7.4 自适应步长规则 65
7.5 定理7.1 的证明 66
7.6 定理7.2 的证明 68
7.7 辅助定理 72
7.8 技术证明 72
7.9 小结 75
第8章 基于优化的守恒定律方法 77
8.1 准备：直观的解析演示 77
8.2 辛方法与算法 79
8.3 局部高速收敛现象的渐近分析 85
8.4 实验演示 93
8.5 小结与展望 102
第三部分 机器学习的数学框架：应用部分 107
第9章 含有噪声和缺失观测值的稀疏子空间聚类的样本复杂度的改进 107
9.1 CoCoSSC算法的主要结果 107
9.2 证明 111
9.3 数值结果 115
9.4 技术细节 118
9.5 小结 123
第10章 多元时间序列中稳定和分组因果关系的在线发现 125
10.1 问题表述 125
10.2 粘性网正则化 126
10.3 在线推理 130
10.4 实验验证 136
10.5 小结与展望 143
第11章 后记 145
参考文献 147
