巴蜀网

 找回密码
 免费注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

开启左侧
查看: 21|回复: 0
 上官123 发表于: 2017-8-13 09:35:00|显示全部楼层|阅读模式

[纪实·新闻] 问世十年,深度学习有哪些里程碑

 [复制链接]
源自:雷锋
  雷锋网(公众号:雷锋网(公众号:雷锋网)按:本文由图普科技编译自《Milestones of Deep Learning》,雷锋网独家首发。
  “深度学习”自问世到现在已有大约十年的时间了,从一开始,它就因为其巨大的成功风靡全世界。以下是“深度学习”在这些年的发展过程中所取得的一些重大成就。
AlexNet?—?2012
yNDh-fyixtym1164621.jpg
  AlexNet架构(图片来自题为《ImageNet Classification with Deep Convolutional Neural Networks》的研究论文
  -  AlexNet的出现证明了“卷积神经网络”确实奏效。AlexNet及其研究性论文《ImageNet Classification with Deep Convolutional Neural Networks》被认为是推动深度学习进入主流的最重要动力。
  -  AlexNet以15.4%的低失误率夺得2012年ILSVRC(ImageNet大规模视觉识别挑战赛)的冠军。(亚军得主的失误率为26.2%。)
  -  AlexNet含有8个层,其中5个为卷积层,3个为全连接层。
  -  将ReLU用于非线性函数,而非传统的tanh函数。
  -  引入了漏失层和数据增强以克服过度拟合的问题。
  《ImageNet Classification with Deep Convolutional Neural Networks》,作者Alex Krizhevsky、Ilya Sutskever和Geoffrey E.Hinton。
ZF Net?—?2013
w3VY-fyixtym1164654.jpg
  ZF网络架构(图片来自题为《Visualizing and Understanding Convolutional Networks》的研究论文)
  -  以11.2%的低失误率夺得2013年ILSVRC冠军。
  -  与AlexNet架构相似,ZF网络也是在一些调整和优化中不断提高了其工作性能。
  -  引入了一项可视化技术──“转置卷积网络”──来观察卷积神经网络的内部工作原理。
  《Visualizing and Understanding Convolutional Networks》,作者Matthew D.Zeiler和Rob Fergus。
VGG Net?—?2014
NF8e-fyixtym1164694.jpg
  VGG网络架构(图片来自Keras博客:https://blog.keras.io)
  -  以7.3%的失误率取得了2014年ILSVRC的“分类及定位”比赛的单项冠军。
  -  VGG网络架构擅长图像分类及图像定位。
  -  VGG网络含有19个层,其过滤器为3x3(AlexNet的过滤器为11x11,ZF网络则为7x7。)
  -  简单的深度结构对于分层特征提取十分有效。
  《Very Deep Convolutional Networks for Large-scale Image Recognition》,作者Karen Simonyan和Andrew Zisserman。
GoogLeNet?—?2014/2015
M9cf-fyixtym1164765.jpg
  GoogLeNet网络架构(图片来自题为《Going Deeper with Convolutions》的研究论文)
  -  以6.7%的失误率取得了2014年ILSVRC的冠军。
  -  引入了“Inception单元”,强调了卷积神经网络的层不需要每次都按照顺序排列叠加。
xwk1-fyixtym1164818.jpg
  “Inception单元”(图片来自题为《深入卷积》的研究论文)
  -  含有22块的网络层(单独看,每一块含超过100个层。)
  -  非全连接层
  -  GoogLeNet证明,优化的非连续结构的性能可能比连续结构的性能还要好。
  《Going Deeper with Convolutions》,作者Christian Szegedy等人。
Microsoft ResNet?—?2015
dmHF-fyixtym1164859.jpg
  ResNet网络架构(图片来自题为《Deep Residual Learning for Image Recognition》)
  -  以3.6%的失误率取得了2015年ILSVRC的冠军。(据了解,普通人的失误率大约为5-10%,ResNet的准确度超过了人类水平。)
  -  ResNet网络是有着152个层的“超深度”网络架构。
  -  引入了“残差块”以减少过拟合。
kZxU-fyixtym1164902.jpg
  残差块(图片来自题为《Deep Residual Learning for Image Recognition》的研究论文)
  《Deep Residual Learning for Image Recognition》,作者Kaiming He、Xiangyu Zhang等人。
  伴随着深度学习模型对人类能力的一次次超越,在未来几年,我们一定能看到更多有趣的深度学习模型,及其重大成就。
“深度学习”是否等同于“卷积神经网络”?  重新回顾上面的内容,你可能会有这样的疑惑──“深度学习”是否就是“卷积神经网络”呢?
  答案:不全是。
  事实上,下面的模型都被称为“深度学习”:
  -  卷积神经网络
  -  深度玻尔兹曼机
  -  人工神经网络
  -  堆栈式自编码器
  在以上的例子中,“卷积神经网络”是“深度学习”领域最突出且定义最明确的,至少目前是这样。但是,我们必须始终记住“卷积神经网络”并不是“深度学习”的全部内容。
  查看文章──《What is Deep Learning??》。了解“深度学习”是怎么来的,以及它与机器学习和人工智能有着什么样的关系。
『 巴蜀网 』提醒,在使用本论坛之前您必须仔细阅读并同意下列条款:
  1. 遵守《全国人大常委会关于维护互联网安全的决定》及中华人民共和国其他各项有关法律法规,并遵守您在会员注册时已同意的《『 巴蜀网 』管理办法》;
  2. 严禁发表危害国家安全、破坏民族团结、破坏国家宗教政策、破坏社会稳定、侮辱、诽谤、教唆、淫秽等内容;
  3. 本帖子由 上官123 发表,享有版权和著作权(转帖除外),如需转载或引用本帖子中的图片和文字等内容时,必须事前征得 上官123 的书面同意;
  4. 本帖子由 上官123 发表,仅代表用户本人所为和观点,与『 巴蜀网 』的立场无关,上官123 承担一切因您的行为而直接或间接导致的民事或刑事法律责任。
  5. 本帖子由 上官123 发表,帖子内容(可能)转载自其它媒体,但并不代表『 巴蜀网 』赞同其观点和对其真实性负责。
  6. 本帖子由 上官123 发表,如违规、或侵犯到任何版权问题,请立即举报,本论坛将及时删除并致歉。
  7. 『 巴蜀网 』管理员和版主有权不事先通知发帖者而删除其所发的帖子。
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

© 2002-2017, 蜀ICP备12031014号, Powered by 5Panda
GMT+8, 2017-9-26 01:08, Processed in 0.187200 second(s), 12 queries, Gzip On, MemCache On
快速回复 返回顶部 返回列表