炼数成金 门户 商业智能 深度学习 查看内容

Yoshua Bengio:纯粹与理想,深度学习的30年

2018-10-19 10:12| 发布者: 炼数成金_小数| 查看: 39418| 评论: 0|来自: 微软研究院AI头条

摘要: 上世纪八九十年代的AI唱衰者们不会预料到深度学习在二十一世纪的成功。作为早期开拓者中的一员,Yoshua Bengio也历经了漫长的“AI寒冬”,在上世纪末的三十年中,人工智能曾两度陷入历史的最低谷。

网络 神经网络 深度学习 人工智能 学术

蒙特利尔大学计算机科学系教授 Yoshua Bengio

从法国来到加拿大的时候,Yoshua Bengio只有12岁。他在加拿大度过了学生时代的大部分时光,在麦吉尔大学的校园中接受了从本科到博士的完整高等教育,随后又前往麻省理工学院和贝尔实验室做博士后。1993年,他重回蒙特利尔,加入离麦吉尔大学不远的蒙特利尔大学担任计算机科学与运筹学系教授,继续潜心进行深度学习的研究。

从80年代到今天,深度学习从不被大多数人看好的“痴心妄想”,到席卷包括自然语言处理、计算机视觉、语音识别在内的几乎所有人工智能领域,其影响力已经全面覆盖了学术界、产业界以及人们的日常生活。Yoshua Bengio几十年如一日的坚守,证明了深度学习所蕴含的、足以影响我们每个人生活的巨大价值。

深度学习的元老,超过137,000次学术引用,“AI圣经”《Deep Learning》等一系列教科书级著作的作者,笑起来极富表现力的眉毛,这些是Yoshua Bengio大神给人们留下的标志性印象。

深度学习的先驱
上世纪八九十年代的AI唱衰者们不会预料到深度学习在二十一世纪的成功。作为早期开拓者中的一员,Yoshua Bengio也历经了漫长的“AI寒冬”,在上世纪末的三十年中,人工智能曾两度陷入历史的较低谷。 

在Yoshua Bengio上大学的八十年代,深度学习在计算机科学中属于非常冷门的理论,符号主义的经典学派占据着学界与大学课堂的主流,但Yoshua Bengio这位独树一帜的学生却偏偏对深度学习产生了强烈的兴趣。用神经网络模拟人脑,用机器学习去揭开人类智慧诞生的奥秘,这对Bengio来说有着巨大的吸引力。就这样,Bengio找到了他在接下来的30余年中始终钟情的研究方向。

但是在当时,几乎没有人看好深度学习的工作。因为对同一项任务来说,既然用传统方法能更轻松地达到更好的效果,为什么要费劲去训练神经网络呢?因此,大多数研究者都不愿意从事这一方向。上世界九十年代人们也曾短暂地看到神经网络的希望,但由于数据量和计算能力的限制,希望很快破灭了,神经网络仍然是痴心妄想。但即使人工智能处于低谷,Bengio仍然全身心地投入深度学习研究,不断贡献了许多新的研究成果。

直到2010到2012年,转机才真正出现。随着大数据的崛起和计算能力的大幅增长,突然之间,人们终于看到了深度学习所蕴藏的真正力量,这使得深度学习一下子被推向人们目光的中心。Yoshua Bengio在过去20年中原本问津者寥寥的诸多科研积累,也迅速成为了人工智能界讨论的焦点,包括深度学习架构、循环神经网络(RNN)、对抗算法、表征学习等等。这些研究成果影响和启发了后来的大量研究者,将深度学习应用到自然语言处理、计算机视觉等人工智能的各个主要领域,对近年来深度学习的崛起和发展起到了巨大的推动作用。

1994年,在Yoshua Bengio与另一位深度学习元老级人物Yann LeCun共同完成的《Gradient-based learning applied to document recognition》论文中,首次提出了用反向传播算法训练的多层神经网络LeNet5,它是世界上最早的也是最著名的卷积神经网络之一。

在2003年发表的《A neural probabilistic language model》中,Yoshua Bengio第一次提出用神经网络结构来建立自然语言模型,这一思路和方法广泛地影响了后人用神经网络做自然语言处理的研究。这一网络结构也被迅速引入自然语言处理的应用实践中并取得了良好的成效,比如最经典的用于生成词向量的word2vec模型,以及近年大热的神经网络机器翻译。Yoshua Bengio的另一篇著作《Learning Deep Architectures for AI》则提纲挈领地总结了深度学习架构中学习算法的动机和原理,为相关的研究提供了理论指导。Yoshua Bengio发表的300多篇学术文章累计的学术引用次数已经超过了惊人的137,000次。

2016年,Yoshua Bengio与Ian Goodfellow和Aaron Courville共同撰写了《Deep Learning》,这本因封面被人们亲切地称为“花书”的深度学习奠基之作,也成为了人工智能领域不可不读的“圣经”级教材。

包括Yoshua Bengio在内的深度学习先驱者们让我们看到了支持长期研究的重要性,他们可贵的研究精神也值得人们敬佩。

虽然眼下深度学习风头正劲,但在几年后甚至