生成式对抗网络GAN的工作原理

字数统计: 4.2k字   |   阅读时长: 14分

1. 写在前面

今天完成了生成对抗网络GAN的学习，从基本原理到数学公式，从对GAN的一知半解到了解了全貌，感觉还是收获颇多，所以趁着学习的GAN在脑海中逗留的一刻，赶紧进行总结和整理。 这样能使学习到的知识逗留的更长久一些吧。

对世界理解的最高境界就是能创造世界，作为生成模型的两座大山之一，生成式对抗网络（Generative Adversial Networks）自从问世以来就颇受瞩目。相对于变分自编码器，生成式对抗网络也可以学习图像的潜在空间表征，它可以生成与真实图像再统计上几乎无法区分的合成图像，并且现在应用之处很多，图像生成，视频预测，图片超精度转换，图图变换等都会发现GAN的身影。所以了解GAN的工作原理是非常有必要的，而今天，就一点点的剖析一下这个伟大地思想 — 生成对抗

今天的这篇文章，我想从白话和数学推导两方面进行GAN工作原理的描述，因为GAN毕竟作为生成模型的大山，肯定少不了数学公式的陪伴，但是如果单纯的讲数学公式，那么这篇文章就变得没意思了，所以数学公式固然重要，因为是理论的核心，但数学公式之前，白话一下背后的思想也挺重要的，因为这样，后面的数学公式理解才会理所当然。

展开全文 >>

GPU之nvidia-smi命令详解

字数统计: 829字   |   阅读时长: 3分

1 nvidia-smi介绍

nvidia-sim简称NVSMI，提供监控GPU使用情况和更改GPU状态的功能，是一个跨平台工具，支持所有标准的NVIDIA驱动程序支持的Linux和WindowsServer 2008 R2 开始的64位系统。这个工具是N卡驱动附带的，只要装好驱动，就会有这个命令。

展开全文 >>

入门图神经网络

字数统计: 963字   |   阅读时长: 4分

前置知识

图神经网络的主要思想是：对目标节点，使用相邻的节点来进行计算。而相邻节点又要需要他的相邻节点来计算，形成多层的结构。

至于，相邻节点如何用来计算目标节点，方法有两个，一个是平均领域的信息；另一个是使用神经网络来进行计算。

展开全文 >>

10-模型的保存加载-模型微调-GPU使用及Pytorch常见报错

字数统计: 4.9k字   |   阅读时长: 18分

Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html?
Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/

1. 模型的保存与加载

我们的建立的模型训练好了是需要保存的，以备我们后面的使用，所以究竟如何保存模型和加载模型呢？ 我们下面重点来看看， 主要分为三块： 首先介绍一下序列化和反序列化，然后介绍模型保存和加载的两种方式，最后是断点的续训练技术。

1.1 序列化与反序列化

序列化就是说内存中的某一个对象保存到硬盘当中，以二进制序列的形式存储下来，这就是一个序列化的过程。 而反序列化，就是将硬盘中存储的二进制的数，反序列化到内存当中，得到一个相应的对象，这样就可以再次使用这个模型了。

展开全文 >>

9-正则化与标准化大总结

字数统计: 6.9k字   |   阅读时长: 27分

Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html?
Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/

1. 正则化weight_decay（L2正则）

正则化从字面意思上可能一下子就懵逼，其实这是个纸老虎， 它就是一个减少方差的策略。那么这里就涉及到了一个概念方差， 什么是方差呢？

误差可分解为：偏差，方差与噪声之和。 即误差=偏差+方差+噪声

  • 偏差度量了学习算法的期望预测与真实结果的偏离程度， 即刻画了学习算法本身的拟合能力
  • 方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
  • 噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界。

展开全文 >>

8-Tensorboard可视化与Hook机制

字数统计: 6.6k字   |   阅读时长: 24分

Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html?
Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/

1. Tensorboard的简介与安装

首先，什么是Tensorboard， 这是TensorFlow中强大的可视化工具，支持标量，图像，文本，音频，视频和Embedding等多种数据可视化。下面是它的一个界面：

展开全文 >>

7-优化器和学习率调整策略

字数统计: 5.2k字   |   阅读时长: 18分

Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html?
Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/

1. 优化器

进行优化器的具体概念之前，我们得看看优化器要干一个什么样的事情， 我们知道了机器学习的五个步骤： 数据 -> 模型 -> 损失 -> 优化器 -> 迭代训练。 我们通过前向传播的过程，得到了模型输出与真实标签的差异，我们称之为损失， 有了损失，我们会进入反向传播过程得到参数的梯度，那么接下来就是优化器干活了，优化器要根据我们的这个梯度去更新参数，使得损失不断的减低。 那么优化器是怎么做到的呢？ 下面我们从三部分进行展开，首先是优化器的概念，然后是优化器的属性和方法，最后是常用的优化器。

展开全文 >>

本站总访问量次 | 本站访客数人

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

一个脱离了高级趣味的人!