第二章 AI复兴:深度学习+大数据=人工智能(第9/14页)
随着PC的普及和互联网时代的到来,人们关于计算机识别图像、文字、语音的需求越来越明确。研究者们尝试着使用人工神经网络来解决类似问题,但效果并不显著。许多人试图使用基于多层神经网络的深度学习技术。据说,“深度学习”(Deep Learning)这个术语是从1986年起流行开来的44。但是,当时的深度学习理论还无法解决网络层次加深后带来的诸多问题,计算机的计算能力也远远达不到深度神经网络的需要。更重要的是,深度学习赖以施展威力的大规模海量数据还没有完全准备好,因而深度学习在真正横空出世前,已经经历了十几年的等待和蛰伏期。
2006年是深度学习发展史上的分水岭。此前提过,杰弗里·辛顿在这一年发表了《一种深度置信网络的快速学习算法》及其他几篇重要论文,其他深度学习领域的泰斗、大师们也在这一年前后贡献了一批重要的学术文章,在基本理论方面取得了若干重大突破。深度学习也由此进入了高速发展的全盛期。
说起来,杰弗里·辛顿这个人很有意思,他曾在卡内基-梅隆大学做过5年教职。我在卡内基-梅隆大学读博士时,杰弗里·辛顿的办公室就在我的办公室的斜对面。有时候,人们会觉得杰弗里·辛顿的思维和交流方式很奇怪,似乎是一种多维跳跃的模式。跟他讲话时,时常陷入尴尬。如果对你讲的东西没什么兴趣,他就会茫然地看着某个地方。
当时,我在做奥赛罗(黑白棋)人机对弈系统的开发。我的导师让我请杰弗里·辛顿作为我这个项目的指导老师。我就去找杰弗里·辛顿,跟他谈我编写奥赛罗程序的思路。
杰弗里·辛顿问我:“你这个系统里,有什么是和人工神经网络相关的吗?”
我说,我这个程序里用的是相对简单的贝叶斯分类器,自动从每一盘对局中,提取四个原始特征,然后用贝叶斯分类器将这些特征综合起来进行计算,以估算下一步走在某个位置的赢棋概率。在这个思路的基础上,人工神经网络是可以发挥作用的。此外,我当时也使用了一个与今天Alpha Go类似的思路,就是让计算机程序自己和自己下棋,然后从几百万个已知的行棋步骤中,归纳出赢或者输的概率,并用类似的方法不断迭代,以达到最好的效果。
在我讲这些细节的过程中,杰弗里·辛顿就已经开始想其他事情了,他的眼睛不再看我,而是茫茫然的,不知道在注视哪里。
好一会儿,辛顿对我说:“开复,没问题,我来给你签字吧。”
就这样,我的奥赛罗人机对弈程序算是通过了他的审核。前后也就是半个小时的样子。可我觉得,他根本没有注意我所讲的技术细节。虽然我当时对自己使用的技术很兴奋,但在他眼中,也许那些都只是些小儿科的玩意儿,跟他当时正在做的有关人工神经网络的研究不可相提并论吧。
谷歌大脑:世界最强大的深度学习集群
深度学习能够大展身手的两个前提条件——强大的计算能力和高质量的大数据,都是在2010年前后逐渐步入成熟的。深度学习、大规模计算、大数据三位一体,神兵出世,一下子就可以摧城拔寨、无坚不摧。其中,最有代表性的事件,就是谷歌大脑(Google Brain)的建立,以及谷歌、Facebook、百度等一大批顶尖科技公司纷纷将“人工智能优先”设定为公司的科技发展战略。
谷歌大脑是在2011年由谷歌最资深的科学家与工程师杰夫·迪恩,以及后来在百度任首席科学家的吴恩达(Andrew Ng)带领团队创建的。这是一个庞大的深度学习计算框架,拥有数万台高性能的计算机和顶级的图形处理器作为计算单元(早期,谷歌大脑是只使用CPU作为计算单元,引入GPU是稍晚一些的事),可以完成大规模、多维度、多层次的深度学习模型训练和演算。
2012年6月,谷歌大脑初战告捷。据当时的《纽约时报》报道,谷歌使用了一个拥有16000个CPU的大规模计算机集群,让计算机用深度学习模型自己“看”了一千万段You Tube上的视频,然后,计算机自己“学”到了如何从视频中辨认一只猫45!
谷歌大脑的创建者杰夫·迪恩在介绍谷歌大脑团队时说:“我们专注于建造可用于机器学习的大规模计算系统,以及进行高级机器学习研究。我们同时拥有这两方面的人才,而他们联合起来解决问题,这常常会带来显著的进步,这种进步是只具有机器学习技能或只具有大规模计算技能的人无法单独取得的。我认为这是我们团队取得众多成功的原因之一。它使我们既在这两个领域取得成功,也让我们能够将‘为问题投入多少计算’和‘如何为我们关心的问题训练大型、强大的模型’方面的最高水平进一步提升。”46
谷歌大脑的第一个版本建成后不久,吴恩达就离开谷歌,转而帮助百度开展人工智能技术研究。深度学习大师杰弗里·辛顿则在谷歌大脑项目成立的第二年加入了谷歌,主持谷歌大脑团队中的理论研究。同时,杰弗里·辛顿仍继续他在多伦多大学的教职。他目前的生活被分成了两部分:在多伦多的科研和教学生涯,以及在谷歌贴近产业前沿的研究实践。最初,杰弗里·辛顿并不想正式加入谷歌,他只想利用休假时间,试着在谷歌工作三个月。为此,谷歌不得不先与他签订了一份实习生合同。这样,深度学习领域数一数二的大师级人物杰弗里·辛顿,就以一个普通实习生的身份来谷歌上班了。杰弗里·辛顿说:“直到有一天,有人在午餐时对我说:‘辛顿教授!我选修了你的课!你在这里做什么?’自此以后,再也没有人质疑辛顿作为实习生的存在了。”47
今天,有深度学习助力,有基于互联网的海量数据支撑,有数以万计的强大计算机集群,谷歌大脑正在帮助谷歌公司解决横跨多个领域的几乎所有人工智能的相关问题:谷歌的搜索引擎正在使用谷歌大脑优化搜索结果的排序,或直接回答用户感兴趣的知识性问题;谷歌的街景服务使用谷歌大脑智能识别街道上的门牌号,以进行精准定位;使用了谷歌大脑的谷歌翻译平台在2016年连续取得翻译质量的革命性突破,将全世界一百多种语言的相互翻译质量提升了一个层次;谷歌自动驾驶汽车正基于谷歌大脑对数百万英里的行驶记录进行训练,以改进驾驶策略,保证绝对安全……