源自:雷锋网 雷锋网(公众号:雷锋网)AI 科技评论按:进入2018年已经一周多了,而精彩纷呈的 2017年(和元旦假期)还仿佛就在昨天。今天,谷歌大脑(Google Brain)负责人 Jeff Dean 也代表整个谷歌大脑团队发出了对 2017年的回顾总结。
作为顶级 AI 研究机构的谷歌大脑不仅资源丰富、人员众多、研究方向广泛、论文产量高,而且他们的研究成果还通过整个谷歌的产品和谷歌大脑团队自己开放出的项目和资源深刻地影响着整个世界。相信你也和雷锋网 AI 科技评论一样希望能够总体回顾一下 2017年中谷歌大脑的种种成果,以及看看他们如何评价自己的工作。我们把这篇总结文(两篇中的第一篇)全文翻译如下。
谷歌大脑团队的工作目标是通过科学研究和系统工程不断推进顶级 AI 系统的发展,这也是整个谷歌的 AI 战略的一部分。2017年的时候谷歌大脑也发出过一篇对 2016年工作的总结文章,这之后谷歌大脑团队也在持续不断地向着自己「让机器更智能」的长期研究目标进发,也和谷歌和 Alphabet 内的许多团队合作,把研究结果应用到真正地改善人类的生活中去。
这次谷歌对 2017年成果的总结分为了上下两篇,这篇是第一篇,包含基础研究成果、开源软件和数据集更新,以及新的机器学习硬件。在稍后的下篇中会详细介绍一些具体应用领域中的研究,机器学习可以在其中带来很大影响,这些领域比如医疗保健、机器人、一些基础自然科学领域,同时也会介绍谷歌大脑在创造性、公平和包容性方面的努力,以及介绍一下这个团队。
核心研究内容
谷歌大脑团队的关注重点是,通过科学研究增进自己对机器学习领域新问题的理解以及解决它们的能力。2017年中谷歌的研究主题包括以下这些:
自动机器学习(AutoML) 自动化机器学习的目标是开发出一些技巧,让计算机自动解决新的机器学习问题,不再需要人类机器学习专家参与每一个新的问题的解决。如果人类想要打造真正智能的系统的话,这肯定会是不可或缺的基础能力之一。谷歌大脑开发了自动设计神经网络架构的新方法,其中同时运用了强化学习和演化算法两类技术,并把这项工作拓展到了「自动化机器学习在 ImageNet分类和检测中达到顶尖表现」论文中( https://arxiv.org/pdf/1707.07012.pdf)。这项研究同时也展现了如何自动学习优化算法和高效的激活函数。谷歌大脑团队现在正在与谷歌云 AI 团队积极协作,目标是让谷歌的客户们也都可以使用这种技术,同时也把谷歌对这种技术的探索拓展到更多方向上去。
端到端 Listen-Attend-Spell 语音识别模型中的组件 谷歌大脑团队也和谷歌的机器理解团队的研究同事们协作,共同开发了新的文本到语音生成方法(Tacotron 2),它大大提升了语音生成的质量。类似可听电子书那种专业水准的录制语音,平均主观分数得分 MOS 是4.58分,之前最好的电脑生成语音系统得分在4.34,而这个新模型的得分为 4.53,已经很接近人类的水平。
Tacotron 2 的模型架构新的机器学习算法和应用方法 谷歌大脑的研究人员们持续开发着新的机器学习算法和应用手段,包括胶囊 capsules 的研究(显式地寻找激活特征之间的一致性,作为执行视觉任务时评估各种不同的带噪声假设的手段)、专家们的稀疏门组合(这可以让大模型的计算效率仍然保持很高,https://arxiv.org/abs/1701.06538)、超越网络(用一个模型的权重生成另一个模型的权重,https://openreview.net/pdf?id=rkpACe1lx)、新类型的多模态模型(可以用同一个模型对语音、视觉、文本等不同输入做多任务学习)、基于注意力机制的模型(作为卷积和循环模型的替代方案)、符号化和非符号化的学习到的优化模型( http://proceedings.mlr.press/v70/bello17a/bello17a.pdf,https://arxiv.org/abs/1703.04813)、一种通过离散变量做反向传播的方法( https://arxiv.org/abs/1611.01144),以及一些强化学习算法的新的改进方案( https://arxiv.org/pdf/1702.08892.pdf)。
用于计算机系统的机器学习
用机器学习方法取代传统计算机系统中启发式方法的想法也让谷歌大脑成员们觉得非常有意思。谷歌大脑已经展示了在把计算图映射到一组计算设备上的任务中,强化学习模型选择的放置方法要比人类专家的选择更好( https://arxiv.org/abs/1706.04972)。和其它谷歌研究院的同事一起,谷歌大脑这项研究「聊一聊学习得到的索引架构」中展现了神经网络可以比 B 树、哈希表、Bloom filters 等传统数据结构更快、更节省空间地建立完成索引任务。谷歌大脑相信,这仅仅是探索机器学习在核心计算机系统中应用的开始,Jeff Dean 在 NIPS workshop 上进行的「Machine Learning for Systems and Systems for Machine Learning」演讲中也描绘了他们的设想。
☆ 相关资讯
Jeff Dean领导谷歌大脑用机器学习颠覆数据索引方法,将变革传统数据库设计理念
效果超过SGD和Adam,谷歌大脑的「神经网络优化器搜索」自动找到更好的训练优化器
Jeff Dean两年AMA全盘点:26个关于谷歌大脑和机器学习未来的问题(下)
Jeff Dean两年AMA全盘点:26个关于谷歌大脑和机器学习未来的问题(上)
Jeff Dean撰文:谷歌大脑是如何完成科研使命的?
谷歌大脑颠覆深度学习混乱现状,要用单一模型学会多项任务
谷歌大脑撰文解析 AutoML:神经网络如何自行设计神经架构? | Google I/O 2017