【AI初识境】激活函数：从人工设计到自动搜索

相关推荐

• 机器学习常用激活函数

  机器学习常用激活函数 摘要: 激活函数就是神经网络输出端的一个节点,来连接两个神经网络.本文主要介绍激活函数的功能以及激活函数类型. 什么是激活函数? 激活函数就是神经网络输出端的一个节点,来连接两个 ...

• 「PyTorch自然语言处理系列」3. 神经网络的基本组件（上）

  数据与智能 226篇原创内容 公众号 来源 |  Natural Language Processing with PyTorch 作者 | Rao,McMahan 译者 | Liangchu 校对 ...

• 人工神经外网络中为什么ReLu要好过于Tanh和Sigmoid Function？

  人工神经外网络中为什么ReLu要好过于Tanh和Sigmoid Function？

• 【AI初识境】给深度学习新手做项目的10个建议

  这是专栏<AI初识境>的第12篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 在成为合格的深度学习算法工程师,尤其是工业界能够实战的调参选手之前,总会踏足很多的坑. 今 ...

• 【AI初识境】深度学习中常用的损失函数有哪些？

  这是专栏<AI初识境>的第11篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 今天来说说深度学习中常见的损失函数(loss),覆盖分类,回归任务以及生成对抗网络,有了目 ...

• 【AI初识境】深度学习模型评估，从图像分类到生成模型

  这是<AI初识境>第10篇,这次我们说说深度学习模型常用的评价指标.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 凡事用数据说话,一个深度学习模型在各类任务中的表现都需要定量 ...

• 【AI初识境】如何增加深度学习模型的泛化能力

  这是专栏<AI初识境>的第9篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 今天来说说深度学习中的generalization问题,也就是泛化和正则化有关的内容. 作者 ...

• 【AI初识境】被Hinton，DeepMind和斯坦福嫌弃的池化，到底是什么？

  这是专栏<AI初识境>的第8篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 今天来说说深度学习中的池化问题,包含池化的种类,作用机制以及最新的思考. 作者&编辑 ...

• 【AI初识境】为了围剿SGD大家这些年想过的那十几招

  这是<AI初识境>第7篇,这次我们说说常用的优化算法.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 深度学习框架目前基本上都是使用一阶的梯度下降算法及其变种进行优化,在此基础 ...

• 【AI初识境】深度学习模型中的Normalization，你懂了多少？

  这是<AI初识境>第6篇,这次我们说说Normalization.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 数据经过归一化和标准化后可以加快梯度下降的求解速度,这就是Ba ...

• 【AI初识境】什么是深度学习成功的开始？参数初始化

  这是<AI初识境>第5篇,这次我们说说初始化.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 神经网络要优化一个非常复杂的非线性模型,而且基本没有全局最优解,初始化在其中扮演着 ...

• 【AI初识境】近20年深度学习在图像领域的重要进展节点

  这是专栏<AI初识境>的第3篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 这是本系列的最后一篇非技术文章,我们总结一下深度学习技术在图像领域的重要历史性节点,本来打算 ...