11-深度学习硬件算力基础-GPU与TPU与英特尔神经棒

2021-12-26

字数统计: 356字 | 阅读时长: 1分

× 文章目录

1. 1. Deep Learning Hardware
2. 英特尔神经棒

Author: haoransun
WeChat: SHR—97
图片&知识点来源：CS231N

1. Deep Learning Hardware

生产显卡的厂家主流的是：NVIDIA 和 AMD.

英伟达在近几年占尽风头，玩吃鸡等游戏需要大规模图形渲染的人需要找他，搞深度学习的人需要找他，比特币/区块链挖矿的人用集成显卡做矿机也需要找他。

把感受野拉成一列，把卷积核拉成一行。把卷积运算变成矩阵运算，就把高精尖问题变成小学生可以处理的问题，目标是对矩阵乘法做优化，

摩尔定律：芯片中的晶体管数量/集成电路中的元器件数量每隔20个月就要翻一番。在过去40年里摩尔定律被应验了，在最近几年，摩尔定律遇到了瓶颈，即CPU的晶体管一旦到了7nm以下，他就到了物理学极限，他们之间会有量子干扰，无法再进行更细粒度的集成。

GPU就是对它的一个突破，如下图，GPU的算力在近几年增长的非常厉害。

数据并行

模型并行

显存容量：仓库有多大，恶意存放多少东西。
显存位宽：一次出动几台叉车搬运东西
显存频率：叉车速度

谷歌官网TPU介绍：https://storage.googleapis.com/nexttpu/index.html

英特尔神经棒

缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save

3、在根目录_config.yml里添加配置：

  jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

一个脱离了高级趣味的人!