写代码是热爱,写到世界充满爱
最近在补ML和DL的相关基础，发现有些非常重要的知识还是了解的太表面，甚至可以说不知其然也不知其所以然了，所以这段时间想借着找工作的这个机会，通过学习一些优秀的文章和资料，来慢慢的把这块短板也补上来。
今天的这篇文章是学习Batch Normalization, 这个可是一个巨重要的深度学习模型的优化策略，拿《深度学习》上的一句话说它并不是一种优化算法， 而是一个自适应的重参数化的方法，试图解决训练非常深模型的困难。这个知识点非常重要，几乎是算法面试必考，所以这次又回顾了一下，每次都是温故而知新，之前在pytorch的标准化这篇文章整理过，但是并不详细，有些细节也没涉及到。所以这次阅读了一些资料和文章，把这种重要的知识点单独拿出来整理下。 这次依然是一个面试题目开始：
最近在补ML和DL的相关基础，发现有些非常重要的知识还是了解的太表面，甚至可以说不知其然也不知其所以然了，所以这段时间想借着找工作的这个机会，通过学习一些优秀的文章，来慢慢的把这块短板也补上来。今天学习的这篇文章是交叉熵损失和平方损失，虽然我们一看这俩东西，可能瞬间感觉非常简单吗不是，公式甚至都能不假思索的就写出来，这还有啥不知其然和所以然的，哈哈，好吧，反正我是觉得我没理太明白，所以想重新记录学习下。
拿一个最基本的面试题来说： 为啥二分类问题里面会用到交叉熵损失，而不用平方损失呢？ 既然sigmoid输出的是概率值，难道用这个概率值与真实的label0或者1求平方损失，然后更新参数不可以吗？
转载一篇文章， 下面是原文章地址，方便后面查阅时方便：
https://blog.ailemon.net/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/
当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念。
最近用深度学习做一些时间序列预测的实验， 用到了一些循环神经网络的知识， 而当初学这块的时候，只是停留在了表面，并没有深入的学习和研究，只知道大致的原理， 并不知道具体的细节，所以导致现在复现一些经典的神经网络会有困难， 所以这次借着这个机会又把RNN， GRU， LSTM以及Attention的一些东西复习了一遍，真的是每一遍学习都会有新的收获，之前学习过也没有整理， 所以这次也借着这个机会把这一块的基础内容进行一个整理和总结， 顺便了解一下这些结构底层的逻辑。
当然，这次的整理是查缺补漏， 类似于知识的串联， 一些很基础的内容可能不会涉及到， 这一部分由于篇幅很长，所以打算用三篇基础文章来整理， 分别是重温循环神经网络RNN， 重温LSTM和GRU和重温Seq2Seq与Attention机制。 前面两篇已经搞定， 今天是第三篇， 尝试整理Seq2Seq和Attention机制，这次依然是基于前面两篇的知识， 这里的逻辑就是Seq2Seq是一种编码器-解码器的网络结构， 而这里的编码器和解码器就可以是RNN或者是它的变体， 所以如果想弄明白Seq2Seq的工作原理， 就需要先知道RNN或者变体的工作原理。 而Attention是在Seq2Seq的基础上又做了一些改进， 依然是这个结构，只不过在计算的时候加了一些新的东西，使得神经网络在计算的时候有了注意力或者说聚焦的地方，使得网络的工作更高效。
最近用深度学习做一些时间序列预测的实验， 用到了一些循环神经网络的知识， 而当初学这块的时候，只是停留在了表面，并没有深入的学习和研究，只知道大致的原理， 并不知道具体的细节，所以导致现在复现一些经典的神经网络会有困难， 所以这次借着这个机会又把RNN， GRU， LSTM以及Attention的一些东西复习了一遍，真的是每一遍学习都会有新的收获，之前学习过也没有整理， 所以这次也借着这个机会把这一块的基础内容进行一个整理和总结， 顺便了解一下这些结构底层的逻辑。
这篇文章基于前面的重温循环神经网络(RNN), 通过前面的分析，我们已经知道了RNN中的梯度消失和爆炸现在究竟是怎么回事并且也知道了引起梯度消失和爆炸的原因， 而又由于梯度消失， 导致了RNN并不擅长捕捉序列的长期关联， 所以基于这两个问题， 导致现在RNN使用的并不是太多， 而是使用它的一些变体， 比如LSTM， GRU这些，所以这篇文章就主要围绕着这两个变体进行展开。
文章出处：
https://zhongqiang.blog.csdn.net/article/details/106299252
最近用深度学习做一些时间序列预测的实验， 用到了一些循环神经网络的知识， 而当初学这块的时候，只是停留在了表面，并没有深入的学习和研究，只知道大致的原理， 并不知道具体的细节，所以导致现在复现一些经典的神经网络会有困难， 所以这次借着这个机会又把RNN， GRU， LSTM以及Attention的一些东西复习了一遍，真的是每一遍学习都会有新的收获，之前学习过也没有整理， 所以这次也借着这个机会把这一块的基础内容进行一个整理和总结， 顺便了解一下这些结构底层的逻辑。
当然，这次的整理是查缺补漏， 类似于知识的串联， 一些很基础的内容可能不会涉及到， 这一部分由于篇幅很长，所以打算用三篇基础文章来整理， 分别是重温循环神经网络RNN， 重温LSTM和GRU和重温Seq2Seq与Attention机制。 整理完了这些基础知识 ， 然后会总结一篇用于时间序列预测非线性自回归模型的论文，这篇论文用的就是带有双阶段注意力机制的LSTM，后面也会使用keras尝试复现并用于时间序列预测的任务，通过这样的方式，可以把这些基础知识从理论变成实践， 这也是先整理三篇基础文章的原因， 因为复现过程中发现一些细节懵懵懂懂， 所以还是先温习遍基础 😉
Author: haoransun
WeChat: SHR—97
https://pytorch-geometric.com/
https://pytorch.org/
https://zhuanlan.zhihu.com/p/602615941
cu111 11.1 以上 适合实验室3090的GTX算力：8.6
此处采用1.10.0+cu113更合适
1 | # CUDA 11.3 |
Author: haoransun
WeChat: SHR—97
https://pytorch-geometric.com/
https://pytorch.org/
cu111 11.1 以上 适合实验室3090的GTX算力：8.6
此处采用1.10.0+cu113更合适
1 | # CUDA 11.3 |
tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true