专访 | 清华大学朱军:深度学习“盛行”,传统方法何去何从?

朱军博士是清华大学计算机系长聘副教授、智能技术与系统国家重点实验室副主任、卡内基梅隆大学兼职教授。2013年,入选IEEE Intelligent Systems的“人工智能10大新星”(AI’s 10 to Watch)。他主要从事机器学习研究,在国际重要期刊与会议发表学术论文80余篇。担任国际期刊IEEE TPAMI和Artificial Intelligence的编委、国际会议ICML 2014地区联合主席、以及ICML、NIPS等国际会议的领域主席。


清华大学计算机系长聘副教授朱军

近日,朱军博士接受了CSDN的专访,采访中分享了目前最新的研究进展,深度学习与传统机器学习如何融合发挥最大作用,成为优秀青年科学家的必备特质,以及在CCAI 2017上的分享与筹备工作。

7月22-23日,中国人工智能大会(CCAI 2017)将于杭州国际会议中心举行,朱军将作为“人工智能青年论坛”共同主席主持会议,欢迎青年学者到现场参与讨论。

深度学习 VS. 传统机器学习

CSDN:在深度学习“盛行”的大环境下,如何看待相对来说比较传统机器学习(如支持向量机、贝叶斯学习、决策树等)?

朱军:这个问题可以从两个方面来看:

  • 首先,深度学习不是万能的,它虽然在特定任务上取得了显著性能提升,但也面临着很多挑战,比如:对抗样本的鲁棒性、可解释性、处理不完全信息与不确定环境等,随着应用范围的扩大,深度学习不擅长解决的问题会逐渐明显,未来肯定会有更好的机器学习方法出现,或许还叫“深度学习”也可能是其他的名字。
  • 其次,深度学习不是孤立的,它的进展与所谓的“传统机器学习”是分不开的,不能把功劳都归于“深度学习”,例如:用于保护深度神经网络避免过拟合的Dropout技术实际是一种贝叶斯学习方法,用于AlphaGO的深度神经网络需要在强化学习框架下发挥作用等。

因此,学术界和工业界都应该更客观地看待深度学习,它的优点可以与其他机器学习方法共融,比如已经取得很多进展的贝叶斯深度学习、深度产生模型(如GAN)等。同时,它的缺点也需要从其他方向寻求改善,比如:我们最近从信息论的角度出发,设计了一种新的训练准则和测试准则,可以显著提升深度神经网络(如CNN,VGG,ResNet)对对抗样本的鲁棒性;另外,我们与清华大学的刘世霞老师合作,研制了CNNVis和DGMTracker可视化系统,它们综合利用了信息可视化与图形学的工具,对深度模型的学习过程进行解释,帮助调试。

CSDN:对于“有了生成模型之后,引入深度学习就能解决统计学习的核心问题(如模型复杂度的选择、泛化性能的理论保证、学习效率等)”的观点你怎么看?

朱军:这个问题也要从两个方面来看待:

  • 首先,生成模型通常要引入假设,在假设符合实际的情况下,这种模型是最优的,可以提升学习效率和泛化性能。
  • 其次,也是因为假设,如果假设不符合实际,这种模型可能带来偏差。实际应用中,还需要对模型进行检验。

CSDN:去年参加CCAI 2016的AAAI主席Rao Kambhapati认为中国学者基本都在研究机器学习,范围有点窄,你是否认同中国人工智能研究存在这样的误区?除了机器学习之外,还有哪些领域或者哪些问题是值得我们关注的?

朱军:机器学习受到很多关注是有一定道理的。作为实现现代人工智能的主要技术途径(之一),机器学习的目标是从经验数据中不断改善性能,它的作用在大数据时代变得更加明显。目前,机器学习已经成为很多应用领域的首选技术方案。

但是,人工智能的其他方向也同样重要,而且在国内也正在受到很多的关注,比如自然语言理解、模式识别、知识工程、机器人,甚至是从脑科学寻求启发的尝试等。目前,可能是因为机器学习已经融入到这些方向中,才给人一种“到处都是机器学习”的感觉。但是,每种方法都有优点和缺点,学术界和工业界都需要鼓励多样性。比如:数据驱动的方法(如深度学习)往往需要大量的训练数据,而知识驱动的方法(如贝叶斯方法)可以在小样本下进行有效学习,二者具有互补的优势,它们的有机融合是当前的一个热点。

关于珠算平台

CSDN:请谈谈你近期的研究课题和进展,以及目前关注的研究和应用情况。

朱军:我们近期主要关注贝叶斯方法与深度学习的融合。我们的最近工作包括建模、学习算法和平台,在无监督、半监督等学习任务上取得了一些进展。为了有效支持这方面的研究,我们研发了珠算(http://zhusuan.readthedocs.io ),它提供了一个Python编程库,能够便捷地实现贝叶斯深度学习的建模和推理。同样在贝叶斯框架下,我们对不确定、不完全信息环境下的决策也非常感兴趣,最近也做了一些博弈论的工作,包括即将发表在ICML上的文章。另外,如上所说的,我们也在提升深度学习的鲁棒性和可解释性方面做了一些积极尝试。

我们所做的机器学习工作,研发的算法和平台(如珠算)通常都是开源的,工业界可以使用。另外,我们也与一些公司合作,针对具体应用开发特定的机器学习技术。

CSDN:能否概述你的团队基于贝叶斯深度学习构建的“珠算”有哪些创新之处?适用于哪些领域?目前有哪些比较好的应用案例?

朱军:首先,珠算是一个概率编程的库,用户在上面可以很容易地实现贝叶斯深度学习的模型和推理,就像在TensorFlow上写一个神经网络一样便捷。贝叶斯深度学习是一个前沿方向,它的基本框架是概率图模型(贝叶斯网络),融合了深度神经网络在可学习的函数拟合方面的长处。和确定性的深度神经网络(如CNN)比,它的主要优点在于可以刻画不确定性(如噪声、信息不完整、随机过程),进行推理和决策。

其次,珠算上支持的应用已经有很多,比如无监督学习、半监督学习、贝叶斯学习等。我们在珠算上已经实现了目前主要的模型,如变分自编码器(VAE)、生成对抗网络(GAN)、主题模型、贝叶斯神经网络等,以及最好的概率推理算法。用户可以直接使用这些模型,也可以便捷地实现自己的模型。

最后,珠算在技术上也有很多创新,与TensorFlow很好地融合在一起。我们正在整理文章,很快将会公布技术细节。

CSDN:“珠算”选择构建在TensorFlow之上,其中有什么故事可以分享?

朱军:我们做珠算的主要目的是希望能够通过开源社区,支持大规模贝叶斯深度学习的概率编程,让这个前沿方向的科研和实践变得更容易。

我们考察过不同的平台,选择TensorFlow是有一些原因的。首先,TensorFlow已经有庞大的社区,并且展示出成为通用计算图框架的潜力。建立在TensorFlow之上有利于融入当前的生态系统。其次,TensorFlow计算图(computation graph)支持的操作(operation)种类远多于其他框架,能够最大程度满足概率编程的需求。最后,Tensorflow是少数支持多机多卡的分布式计算图框架,非常适合做为大规模贝叶斯深度学习的基础设施。

如何成为优秀的青年科学家

CSDN:成为人工智能领域优秀的青年科学家,你认为需要具备哪些特质?

朱军:科研是一个长期的过程,需要兴趣和坚持,同时,对问题要形成自己的认知和选择。现在是人工智能、机器学习发展快速的时期,是好事也可能是坏事,太快的进展容易让人失去定力,追逐一些容易出成果的“热点”。随大流虽然能发很多文章,但是,很难形成自己的系统性工作。因此,有些时候需要“少做”,才能选择重要的问题集中精力去做。

CSDN:就你自己而言,理论扎实,成果丰富,能否介绍是哪些因素对你今天的成绩起到了关键的作用,是时代机遇,个人坚持,前辈指导,同行交流,还是其他?

朱军:有很多因素。正如前面所说的,首先是要有兴趣,愿意投入精力去学习和钻研。其次要能够坚持,遇到困难不回避,能够主动思考解决的办法。只有通过思考得到的东西才是属于自己的。最后,要善于向前辈和同行学习,别人的观点可能是启发思路的火种。

CSDN:你介绍过一些工作在付出很多努力之后不得不中止,所以说选择方向很重要,这方面有哪些心得可以分享?

朱军:越是创新性高的科研工作,它的不确定性也会越高,导致结果有时会与预期相差甚远。但是,一个失败的探索过程也是有价值的,它至少告诉你哪些路是不可行的。选择了大方向以后,可以大胆尝试,遇到困难或挫折是很正常的,不用气馁。

CSDN:CMU博士后研究的经历给你最大收获是什么?如何理解国内外环境的差异?以目前的情况来看,你对青年是否要出国深造有什么建议?

朱军:博士后是一个过渡阶段,从科研和教学两个方面,都为后来的清华任教打下了好的基础。CMU有最好的学术环境、非常友好的同事和朋友,给我的帮助很大,我自己也在尝试借鉴CMU的经验指导学生。

目前,国内外的差异已经越来越小了,信息的不对称也在逐渐消失,国内的机会也很多。最近,我也很高兴看到有很多CMU的朋友陆续回国工作,这和几年前我回国时的情形完全不同,当时我们甚至开玩笑说我是先回国给大家探路的。因此,我觉得每个人可以根据自己的情况选择是否出国深造,盲目跟随应该会成为过去式。

CSDN:你如何理解和处理科研与教学二者的关系?

朱军:清华非常注重教学。我认为如果能平衡好二者的关系,教学与科研是可以相辅相成的。科研做的好能够帮助教学,对一个领域的深入理解能够将课堂上讲的知识点融合贯通,形成有机整体,而不是生硬式的拼凑。同时,教学的过程也能帮助系统地整理学科知识,加深理解,有时也能激发科研想法。

在CCAI 2017上的分享与筹备工作

CSDN:作为 CCAI 人工智能青年论坛的共同主席,对于组织这一论坛,你的出发点是什么?本次论坛将主要围绕哪些内容展开?希望为听众解决哪些问题?

朱军:随着数据和计算资源的增加,以及算法的改进,以深度学习为代表的现代人工智能技术正在越来越多的领域中获得应用和发展,并已经在一些特定领域取得显著进展,包括图像识别、语音识别、电脑游戏等。

但是,随着应用范围的扩展和复杂化,人工智能仍然面临着多方面的挑战,包括鲁棒性、可解释性、安全性、隐私保护等等。

目前,人工智能获得显著进展的领域通常需要大量的训练数据,如何发展对训练样本更高效的人工智能技术是很多场景下要解决的关键问题;另外,如何在信息不完全、不确定的非结构化环境下进行高效学习和决策也是未来要解决的重要问题。该论坛将探讨人工智能领域的前沿进展和未来趋势,嘉宾们将通过分享自己的观点、与听众互动,解答听众关心的问题。

CSDN:你是从哪几个维度来组织嘉宾阵容的?由此构建起的人工智能青年论坛将有哪些独特之处?

朱军:该论坛尽量覆盖人工智能的多个方面。邀请的嘉宾有学术界和工业界的优秀代表,也有优秀的女性科学家代表。另外,嘉宾的背景也具有很好的代表性、多样性。希望该论坛能够给听众带来最前沿的思想碰撞。

关于 CCAI

作为中国国内高规格、规模空前的人工智能大会,本次大会由中国科学院院士、中国人工智能学会副理事长谭铁牛,阿里巴巴技术委员会主席王坚,香港科技大学计算机系主任、AAAI Fellow 杨强,蚂蚁金服副总裁、首席数据科学家漆远,南京大学教授、AAAI Fellow 周志华共同甄选出在人工智能领域本年度海内外最值得关注的学术与研发进展,汇聚了超过 40 位顶级人工智能专家,带来 9 场权威主题报告,以及“语言智能与应用论坛”、“智能金融论坛”、“人工智能科学与艺术论坛”、“人工智能青年论坛”4 大专题论坛,届时将有超过 2000 位人工智能专业人士参与。

目前,大会 8 折优惠门票正在火热发售中,点击这里火速抢票。

原文链接

时间: 2017-07-13

专访 | 清华大学朱军:深度学习“盛行”,传统方法何去何从?的相关文章

专访DeepScale:深度学习加前融合,这家公司想做自动驾驶领域的感知方案供应商

Forrest Iandola 多传感器融合目前看来已经成了通往自动驾驶的必由之路,更多的传感器数据往往也意味着更高的安全性.但数据融合并不是一件简单的事. DeepScale是硅谷一家专注于自动驾驶感知技术的公司,其CEO Forrest Iandola在本月接受雷锋网采访时表示,他们能将深度学习同时用于摄像头以外的传感器数据上,如雷达与激光雷达,并在较为廉价的嵌入式设备上提供感知解决方案. Forrest在加州大学伯克利分校攻读博士学位时,主要研究深度神经网络及其应用,重点关注加速及改进用于

聊聊数据挖掘竞赛中的套路与深度学习的局限

前言 刚好在暑假通过参加 kaggle 的 Zillow Prize 比赛来让我在数据挖掘和机器学习中完成了菜逼到 Level 1 的转变,借知乎的平台总结一下比赛的经验,先声明本文绝不是只列出名词的文章,每一点背后都会有相应的文字解说,各位客官可以安心吃用和讨论. 其次要强调的是这篇文章不承诺带你上 kaggle top1%,不承诺你看完后就懂数据挖掘,就懂机器学习,这次的总结分享只针对下列有如下问题的人群. 网上其他的攻略文章看得不少,为啥自己还是一波操作猛如虎,一看比分 0-5? 为啥深度

徐立:1200层神经网络夺冠ImageNet,深度学习越深越好?| 新智元 AI 领军人物专访

人工智能领域的创业浪潮中,计算机视觉技术(CV)可以说是一个较为火热的方向,呈遍地开花之势.在这片江湖中,有四家公司特别突出,有 CV 领域的"一桶筐汤" 之称,可以看成是具有巨大潜力的"四小龙". 其中,"汤"在这里指的就是创建于2014年的商汤科技开发有限公司.其他三家"一"指创立于2016年的依图科技."桶"指的是2014年的"格灵深瞳","筐"指的是成立于20

专访 | 杨强教授谈CCAI、深度学习泡沫与人工智能入门

7 月 22 - 23 日,由中国人工智能学会.阿里巴巴集团 & 蚂蚁金服主办,CSDN.中国科学院自动化研究所承办,作为独家直播合作伙伴的第三届中国人工智能大会(CCAI 2017)将在杭州国际会议中心盛大开幕. 作为大会主席,香港科技大学计算机与工程系主任.AAAI Fellow 杨强教授最近接受了大会记者专访.这次访谈干货满满,其中有不少话题是杨强教授首度公开谈及,比如下一个 AI 突破口.深度学习泡沫.AI 之路心得.本科生入门 AI.好学生要能教导师学习,等等. (点击阅读杨强教授历史

专访阿里巴巴徐盈辉:深度学习和强化学习技术首次在双11中的大规模应用

12月6日-7日,由阿里巴巴集团.阿里巴巴技术发展部.阿里云联合主办,以"2016双11技术创新"为主题的阿里巴巴技术论坛(Alibaba Technology Forum,ATF)将在线举办.(https://yq.aliyun.com/promotion/139) 系列文章陆续发布: 专访阿里巴巴徐盈辉:深度学习和强化学习技术首次在双11中的大规模应用 专访阿里巴巴林伟:三项世界级挑战背后的思考.实践和经验 专访阿里巴巴魏虎:揭秘阿里双11背后的全站个性化&商铺千人千面 价

【重磅】Bengio 出山建立深度学习孵化器,寄语中国人工智能产业(附新智元独家专访视频)

Bengio 创建深度学习孵化器,试图打造 AI 生态圈 Yoshua Bengio,这位深度学习崛起背后的领军人物,成立了一个专注人工智能的硅谷式创业孵化器. 这个创业孵化器名为 Element AI,将帮助蒙特利尔大学(Bengio 是该大学的教授)和附近的 McGill 大学 AI 研究团队成立公司.Bengio 说,这只是他在蒙特利尔建立"AI生态圈"计划的一部分.Bengio 表示,蒙特利尔对深度学习的学术研究有着"全世界最多的关注",在这里孕育的 AI

2017GAITC专访 │ 深度学习分论坛主席季向阳

 [CAAI导读]从AlphaGo进去公众视野的那一天起,它就为普通百姓普及了人工智能这一概念.而人工智能也从幕后走到了台前.虽然有着无数赞美,但伴随而来的也是舆论对于人工智能的大讨论.  2017年5月21日至22日,由中国人工智能学会.中国中文信息学会主办的"2017全球人工智能技术大会"将在北京国家会议中心拉开序幕.本次大会为中国人工智能权威大会,以"交叉.融合.相生.共赢"为主题,将汇聚多位全球人工智能学术界和产业界著名学者.顶级专家和业界精英. 为了探寻这

CNCC 2016|清华大学张钹院士起底: 后深度学习时代的人工智能

雷锋网(公众号:雷锋网)按:本文根据张钹院士近日在 CNCC 2016 上所做的大会特邀报告<<人工智能未来展望,后深度学习时代>>编辑整理而来,在未改变原意的基础上略作了删减. 张钹:CCF会士,2014CCF终身成就奖获得者,中国科学院院士,计算机专家,清华大学类脑计算研究中心学术委员会主任.曾任信息学院学术委员会主任物联网物联网,智能技术与系统国家重点实验室主任,中国自动化学会智能控制专业委员会主任,计算机学报副主宾,2011年德国汉堡大学授予自然科学名誉博士,2016年获微

CCAI 2017 | 专访德国语言技术领军者 Hans Uszkoreit:深度学习还不足以解决 NLP 核心问题

会前,我们采访到了大会 Keynote 嘉宾.德国人工智能研究中心科技总监 Hans Uszkoreit 博士. Uszkoreit 博士是中德两国人工智能合作的核心人物,负责德国人工智能研究中心在中国的所有合作项目,今年 3 月,他刚被任命为在北京新成立的人工智能技术中心(AITC)总监兼首席科学家.在访谈中,Uszkoreit 博士谈到了人工智能在工业 4.0 和商业智能上的应用,以及中.美.欧在人工智能领域的差异. 对于他的老本行,Uszkoreit 博士认为,语言技术是人工智能的核心部分