深度学习的四个学习阶段!

来源:Coggle数据科学
机器学习领域是巨大的,为了学习不迷路,可以从以下列表帮助学习。它概述深度学习的一些学习细节。

阶段1:入门级

入门级能够掌握以下技能:

  • 能够处理小型数据集
  • 理解经典机器学习技术的关键概念
  • 理解经典网络DNN、CNN和RNN

数据处理

在入门级使用的数据集很小,可以放入主内存中。只需几行代码即可应用此类操作。在此阶段数据包括Audio、Image、Time-series和Text等类型。

经典机器学习

在深入研究深度学习之前,学习基本机器学习技术是一个不错的选择,其包括回归、聚类、SVM和树模型。

网络

掌握常见的网络层,以及相应的神经网络;GAN、AE、VAE、DNN、CNN、RNN 等等。在入门阶段,可以优先掌握DNN、CNN和RNN。

理论

没有神经网络就没有深度学习,没有(数学)理论就没有神经网络。可以通过了解数学符号来开始学习,可以从矩阵、线性代数和概率论开始你的学习

阶段2:进阶水平

进阶和入门级之间没有真正的分界,进阶水平能够处理更大的数据集,能够使用高级网络处理自定义项模型:

  • 处理更大的数据集
  • 能够自定义模型完成任务
  • 网络模型精度变得更好

数据处理

能够处理几GB的数据集,需要自定义数据扩增方法和数据处理函数。

自己完成任务

能够根据具体任务完成代码的开发,而不是参考MNIST的教程完成编码。

自定义网络

处理自定义项目时,如何处理数据数据?如何定义自己的网络层?

模型训练

掌握迁移学习的思路,学会使用预训练权重完成新任务。并掌握冻结部分网络层的方法。

深度学习理论

掌握深度学习模型的正向传播和反向传播,特别是链式求导法则。掌握激活函数和目标函数的作用,能够选择合适的激活函数和目标函数。

阶段3:熟练水平

与进阶相比你需要掌握更加的数据集处理方法,并掌握加速模型训练的方法:

  • 大规模数据的处理和存储
  • 网络模型的调参
  • 无监督学习和强化学习

数据处理

需要掌握几百GB数据集的处理,学会Linux的操作。此阶段可能接触到多模态任务。

无监督项目

开始尝试无监督网络模型的搭建,如自编码器和GAN模型,能够掌握模型原理。

模型训练

掌握模型调参的方法和常见的日志和可视化工具,如TensorBoard的使用。掌握学习率的调节方法,如余弦退火。掌握多机和混合精度训练。

阶段4:专家级

掌握前沿的学术模型的发展,知道自己的兴趣是什么,并能提出新的模型:

  • 学会使用JAX或DALI处理数据
  • 熟悉图神经网络和Transformer模型

本文在原文基础上进行了精简,原文链接:https://towardsdatascience.com/a-guide-to-the-field-of-deep-learning-9bb9b21dae2

(0)

相关推荐

  • 认识Power Query的自定义函数

    使用Power Query进行复杂一些的数据处理,离不开M函数,目前已经有超过700个函数了,基本上各式各样的数据处理需求都可以使用M函数实现,如果你觉得这些还不够,或者使用起来不是很方便,也可以在P ...

  • PQ高阶技能:M函数

    前面我们学习PQ的时候都是用鼠标操作,虽然通过这些操作能完成大部分的数据处理,但是毕竟还有些复杂的工作是处理不了的,如果想彻底驾驭PQ,必须得掌握点高级玩法.就像学习Excel一样,做个表格我们只要会 ...

  • 深度学习模型建立的整体流程和框架

    框架图如下,纵向是建立模型的主要流程,是一个简化且宏观的概念,横向是针对具体模块的延展. 数据处理 数据处理一般涉及到一下五个环节: 读入数据 划分数据集 生成批次数据 训练样本集乱序 校验数据有效性 ...

  • 促进深度学习的四个维度

    日常教学中,我们经常会遇到这样的情景,学生"一听就会,一看就懂,一做(题)就错,一过就忘,一考就晕."究其原因,学习没有用心,学习缺少思考,学习滞留在浅层学习的状况,要改善这种状况 ...

  • 孩子从幼儿到青少的四个学习阶段,老师要告诉家长

    我们通常把孩子的语言学习按照年龄分成三个大的阶段:0-2岁.3-6岁.7-12岁,也就是常说的婴儿.幼儿.少儿阶段.孩子在三个阶段的语言发展都有着鲜明的特点,比如我们常说0-2岁的婴儿是咿呀学语,这个 ...

  • 针灸学习的四个层次

    <九针十二原>曰:"小针之要,易陈而难入,....粗守形,上守神,...粗守关,上守机",是说针灸治病,容易入手,但要达到精妙的地步却很困难.针灸看上去很简单,就是用针 ...

  • 学习有四种境界!(涨知识)

    文章作者|魏晋寒 图片来源|网络 学习是一件非常复杂的事情,但它却会让人生变得更加简单.正如作家刘同说的那样:"你必须非常努力,才能看起来毫不费力." 无论是学生时期的答题求解,或 ...

  • 深度好文!!学习心电图,这是我见过最牛的文章!

    作者:医考君,来源:医考之声 15种临床常见心电图,为了大家真正理解心电图,不再生搬硬套的记忆波形,医考君做了粗暴的推理,所以内容有点长.请大家收藏或转发朋友圈,有时间分次阅读. 说起恁个心电图啊 自 ...

  • 2021年4月30日,大家都通过视频看到常州《黄帝内经》当代科学语境解读知其所以然的展示馆(四间学习...

    2021年4月30日,大家都通过视频看到常州<黄帝内经>当代科学语境解读知其所以然的展示馆(四间学习基础室和十二个展室)基本建成,大家都说从中看到<黄帝内经>及其中医.中药.针 ...

  • 学习强国“四人赛”容易错的题(四)

    101.世界上第一台现代电子计算机是( ENIAC ) . 102.在昆山腔的发展中,( 魏良辅) 等人对其进行了改良,改良后的昆山腔成为明代中叶至清代影响最大的声腔剧种. 103."天下泉 ...

  • 什么叫虚领顶劲?怎么理解?内家拳学习第四步

    真是有不少朋友和我讨论过这个问题.关于顶劲,前边我们已经做过头向上顶,同时也是肩向下垂的试验.顶劲,一定是头向上顶,这一点是容易统一的.可能是一提到"顶",则首先想到了牛羊,因为它 ...

  • 【转发】为什么说深度学习是理解性学习

    ------------------ 今天和大家聊聊究竟什么叫深度学习,阻碍学生深度学习的根源是什么,以及如何进行深度学习? 浅层学习的根源 先来谈谈什么是浅层学习?我可以从自己的一个例子来讲什么叫& ...