重温深度学习优化算法

字数统计: 6.1k字   |   阅读时长: 21分

1. 写在前面

最近在补ML和DL的相关基础，发现有些非常重要的知识还是了解的太表面，甚至可以说不知其然也不知其所以然了，所以这段时间想借着找工作的这个机会，通过学习一些优秀的文章和经典书籍，来慢慢的把这块短板也补上来。

今天是深度学习优化算法这块的一个总结，在深度学习中，影响深度深度神经网络训练效果或者说可以加速神经网络训练的重要策略一般有：

  1. 合适的初始化策略： 如果初始化的不好，有可能导致网络没法最终收敛或者中途无法训练(比如初始化0就成了线性，不适当的参数初始化还会导致梯度消失或者爆炸等)， 这个之前在pytorch初始化那里都整理过了。

展开全文 >>

重温归一化(MinMaxScaler)和标准化(StandardScaler)

字数统计: 3.4k字   |   阅读时长: 11分

1. 写在前面

最近做一个时空序列预测的一个问题，用到了数据归一化和标准化，之前一直想花点时间看一下这俩的区别究竟是啥？ 现在参考了几篇博文，加上自己的一些理解，来具体的总结总结。

数据的归一化是无量纲化，也就是忽略掉特征之间值大小对最后结果带来的影响，而标准化是统一特征的数据分布，忽略掉不同分布的特征对最后结果带来的影响

首先给出sklearn中归一化和标准化的实现方法：

展开全文 >>

重温Batch Normalization

字数统计: 3.3k字   |   阅读时长: 11分

1. 写在前面

最近在补ML和DL的相关基础，发现有些非常重要的知识还是了解的太表面，甚至可以说不知其然也不知其所以然了，所以这段时间想借着找工作的这个机会，通过学习一些优秀的文章和资料，来慢慢的把这块短板也补上来。

今天的这篇文章是学习Batch Normalization, 这个可是一个巨重要的深度学习模型的优化策略，拿《深度学习》上的一句话说它并不是一种优化算法， 而是一个自适应的重参数化的方法，试图解决训练非常深模型的困难。这个知识点非常重要，几乎是算法面试必考，所以这次又回顾了一下，每次都是温故而知新，之前在pytorch的标准化这篇文章整理过，但是并不详细，有些细节也没涉及到。所以这次阅读了一些资料和文章，把这种重要的知识点单独拿出来整理下。 这次依然是一个面试题目开始：

展开全文 >>

交叉熵损失函数和平方损失的区别

字数统计: 1.3k字   |   阅读时长: 4分

1. 写在前面

最近在补ML和DL的相关基础，发现有些非常重要的知识还是了解的太表面，甚至可以说不知其然也不知其所以然了，所以这段时间想借着找工作的这个机会，通过学习一些优秀的文章，来慢慢的把这块短板也补上来。今天学习的这篇文章是交叉熵损失和平方损失，虽然我们一看这俩东西，可能瞬间感觉非常简单吗不是，公式甚至都能不假思索的就写出来，这还有啥不知其然和所以然的，哈哈，好吧，反正我是觉得我没理太明白，所以想重新记录学习下。

拿一个最基本的面试题来说： 为啥二分类问题里面会用到交叉熵损失，而不用平方损失呢？ 既然sigmoid输出的是概率值，难道用这个概率值与真实的label0或者1求平方损失，然后更新参数不可以吗？

展开全文 >>

loss不下降的解决方法

字数统计: 3.6k字   |   阅读时长: 12分

转载一篇文章， 下面是原文章地址，方便后面查阅时方便：

https://blog.ailemon.net/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/

当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念。

展开全文 >>

重温Seq2Seq和Attention机制

字数统计: 6.3k字   |   阅读时长: 22分

1. 写在前面

最近用深度学习做一些时间序列预测的实验， 用到了一些循环神经网络的知识， 而当初学这块的时候，只是停留在了表面，并没有深入的学习和研究，只知道大致的原理， 并不知道具体的细节，所以导致现在复现一些经典的神经网络会有困难， 所以这次借着这个机会又把RNN， GRU， LSTM以及Attention的一些东西复习了一遍，真的是每一遍学习都会有新的收获，之前学习过也没有整理， 所以这次也借着这个机会把这一块的基础内容进行一个整理和总结， 顺便了解一下这些结构底层的逻辑。

当然，这次的整理是查缺补漏， 类似于知识的串联， 一些很基础的内容可能不会涉及到， 这一部分由于篇幅很长，所以打算用三篇基础文章来整理， 分别是重温循环神经网络RNN， 重温LSTM和GRU和重温Seq2Seq与Attention机制。 前面两篇已经搞定， 今天是第三篇， 尝试整理Seq2Seq和Attention机制，这次依然是基于前面两篇的知识， 这里的逻辑就是Seq2Seq是一种编码器-解码器的网络结构， 而这里的编码器和解码器就可以是RNN或者是它的变体， 所以如果想弄明白Seq2Seq的工作原理， 就需要先知道RNN或者变体的工作原理。 而Attention是在Seq2Seq的基础上又做了一些改进， 依然是这个结构，只不过在计算的时候加了一些新的东西，使得神经网络在计算的时候有了注意力或者说聚焦的地方，使得网络的工作更高效。

展开全文 >>

重温LSTM和GRU

字数统计: 6.7k字   |   阅读时长: 24分

1. 写在前面

最近用深度学习做一些时间序列预测的实验， 用到了一些循环神经网络的知识， 而当初学这块的时候，只是停留在了表面，并没有深入的学习和研究，只知道大致的原理， 并不知道具体的细节，所以导致现在复现一些经典的神经网络会有困难， 所以这次借着这个机会又把RNN， GRU， LSTM以及Attention的一些东西复习了一遍，真的是每一遍学习都会有新的收获，之前学习过也没有整理， 所以这次也借着这个机会把这一块的基础内容进行一个整理和总结， 顺便了解一下这些结构底层的逻辑。

这篇文章基于前面的重温循环神经网络(RNN), 通过前面的分析，我们已经知道了RNN中的梯度消失和爆炸现在究竟是怎么回事并且也知道了引起梯度消失和爆炸的原因， 而又由于梯度消失， 导致了RNN并不擅长捕捉序列的长期关联， 所以基于这两个问题， 导致现在RNN使用的并不是太多， 而是使用它的一些变体， 比如LSTM， GRU这些，所以这篇文章就主要围绕着这两个变体进行展开。

展开全文 >>

重温RNN

字数统计: 3.8k字   |   阅读时长: 13分

文章出处：
https://zhongqiang.blog.csdn.net/article/details/106299252

1. 写在前面

最近用深度学习做一些时间序列预测的实验， 用到了一些循环神经网络的知识， 而当初学这块的时候，只是停留在了表面，并没有深入的学习和研究，只知道大致的原理， 并不知道具体的细节，所以导致现在复现一些经典的神经网络会有困难， 所以这次借着这个机会又把RNN， GRU， LSTM以及Attention的一些东西复习了一遍，真的是每一遍学习都会有新的收获，之前学习过也没有整理， 所以这次也借着这个机会把这一块的基础内容进行一个整理和总结， 顺便了解一下这些结构底层的逻辑。

当然，这次的整理是查缺补漏， 类似于知识的串联， 一些很基础的内容可能不会涉及到， 这一部分由于篇幅很长，所以打算用三篇基础文章来整理， 分别是重温循环神经网络RNN， 重温LSTM和GRU和重温Seq2Seq与Attention机制。 整理完了这些基础知识 ， 然后会总结一篇用于时间序列预测非线性自回归模型的论文，这篇论文用的就是带有双阶段注意力机制的LSTM，后面也会使用keras尝试复现并用于时间序列预测的任务，通过这样的方式，可以把这些基础知识从理论变成实践， 这也是先整理三篇基础文章的原因， 因为复现过程中发现一些细节懵懵懂懂， 所以还是先温习遍基础 😉

展开全文 >>

本站总访问量74332次 | 本站访客数66779人