核心观点
- 机器学习的学习就是寻找更好的数据表示，使得数据的表示更加有用，更加易于处理。从数学上来看就是找到一个函数，将原始数据映射到一个更加有用的表示空间中。但是它寻找的过程没有创造性，只是在已有的表示空间中寻找更好的表示，比如线性投影，平移等。
- 深度学习是机器学习的一个分支，它的核心思想就是通过组合简单的模块来表达复杂的函数，这些模块被称为神经网络层，这些层可以将输入数据映射到更加有用的表示空间中，通过层来将数据“逐渐”变为更加有用的表示，这个过程就是深度学习的学习过程。
- 早期机器学习的方案-SVM,决策树，随机森林。其中SVM需要手工提取特征(这一步又叫特征工程)这是与深度学习一个比较大的区别，深度学习将特征的学习自动化了
- 训练主要围绕4个方面层(模型),输入数据和目标,损失函数,优化器
基本知识
- 广播
没有歧义的话小张量会自动被扩展匹配较大张量以实现逐元素计算，这个扩展过程被称为广播 - 随机梯度下降(SGD)
一般情况下参数的调整是取一小批数据组成一个张量送入网络然后调整参数而不是直接将所有数据传入，随机是指每次抽取的批量数据是随机的。理论上可以通过解析法直接求得梯度(将网络看作一个带有N个变量的多项式，其中N是网络的参数个数，比如当N=2就是求二元函数偏导)但往往N非常之大，此方法难以应用，因此实际中采用了一种叫反向传播的算法。 - 反向传播的过程
首先会有一个损失函数，这个损失函数根据任务不同而不同如二分类问题常选择binary_crossentropy,这个损失函数以网络的输出和真实值为输入，输出一个标量，这个标量就是损失函数的值，反向传播的过程首先是根据该损失值调整最后一层参数，接着根据当前层的变化继续往下一层调整 - K折验证
在数据集较小时可以将数据集划分为K个分区，然后实例化K个相同模型，将每个模型在K-1个分区上进行训练然后在剩下的一个分区上进行验证，取平均值作为验证分数
问题
- 不同任务需要选择的对应激活函数与优化器，损失函数
- 为什么要数据向量化与标签向量化，什么是one-hot编码
转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论，也可以邮件至 2128099421@qq.com
