当前位置: 首 页 > 自然语言处理 >

深度学习在NLP领域成绩斐然 计算语言学家惊慌了?

来源:人工智能网 发布日期:2017-05-15

深度学习浪潮 这些年来,深度学习浪潮一直冲击着计算语言学,而看起来2015年是这波浪潮全力冲击自然语言处理(NLP)会议的一年。然而,一些专家预测其带来的破坏...

深度学习浪潮

这些年来,深度学习浪潮一直冲击着计算语言学,而看起来2015年是这波浪潮全力冲击自然语言处理(NLP)会议的一年。然而,一些专家预测其带来的破坏最后还会更糟糕。2015年,除了法国里尔召开的 ICML 大会,还有另外一个几乎同样大的事件:2015深度学习研讨会(2015 Deep Learning Workshop)。该研讨会以一个 panel 讨论结束,正如 Neil Lawrence 在该 panel 上所说的:「NLP 有点(kind of)像是深度学习机器车灯前的一只兔子,等着被压扁。」很明显,计算语言学界需要慎重了!它会是我的道路的终点吗?这些压路机般的预测来自哪里?

2015年6 月,巴黎 Facebook 人工智能实验室开幕上,负责人 Yann LeCun 说:「深度学习的下一大步是自然语言理解,不只是给机器理解单个词的能力,而是理解整个句子、段落的能力。」

在2014 年11 月的 Reddit AMA(Ask Me Anything/随便问)问答上,Geoff Hinton 说:「我认为接下来5 年,最令人激动的领域将会是理解文本和视频。如果 5 年内我们还没有在看过 YouTube 视频后能说出发生了什么的东西,我会感到很失望。数年内,我们将会把深度学习安置到能够放进耳朵那样的芯片上,并造出像巴别鱼(《银河系漫游指南》中出现的:如果你把一条巴别鱼塞进耳朵,就能立刻理解以任何形式的语言对你说的任何事情。)那样的英语解码芯片。」

此外,现代深度学习的另一位泰斗 Yoshua Bengio,也逐渐增加了他们团队在语言方面的研究,包括最近在神经机器翻译系统上令人激动的新研究。

从左到右:Russ Salakhutdinov(卡耐基梅隆大学机器学习系副教授)、Rich Sutton(阿尔伯塔大学计算机科学教授)、Geoff Hinton(在谷歌工作的认知心理学家和计算机科学家)、Yoshua Bengio(因在人工神经网络和深度学习的工作而知名的计算机科学家)和 2016 年讨论机器智能的一个 panel 的主持人 Steve Jurvetson,机器之心当时对此论坛进行了现场报道,参阅:《独家 | Hinton、Bengio、Sutton 等巨头聚首多伦多:通过不同路径实现人工智能的下一个目标

不只是深度学习研究者这么认为。机器学习领军人物 Michael Jordan 在 2014 年 9 月的 AMA 问答上被问到「如果在研究上你获得了 10 亿美元投入一个大项目,你想做什么?」他回答说,「我会使用这 10 亿美元建立一个专注于自然语言处理的 NASA 级项目,包括所有的方面(语义、语用等)。」他继续补充说,「我非常理性地认为 NLP 如此迷人,能让我们专注于高度结构化的推断问题上,在『什么是思想』这样的问题上直入核心,但明显更实际。它无疑也是一种能让世界变得更好的技术。」嗯,听起来不错。那么,计算语言学研究人员应该害怕吗?我认为,不!回到 Geoff Hinton 前面提到的巴别鱼,我们要把《银河系漫游指南》拿出来看看,其封面上用大而友好的字写着「不要惊慌」。

深度学习的成功

过去几年,深度学习无疑开辟了惊人的技术进展。这里我就不再详介,但举个例子说明。谷歌最近的一篇博客介绍了 Neon,也就是用于的 Google Voice 新的转录系统。在承认旧版的 Google Voice 语音邮件转录不够智能之后,谷歌在博客中介绍了 Neon 的开发,这是一个能够提供更准确转录的语音邮件系统,例如,「(Neon)使用一种长短期记忆深度循环神经网络(长舒一口气,whew!),我们将转录的错误率降低了 49%。」我们不都在梦想开发一种新方法,能够将之前顶级结果的错误率降低一半吗?

为什么计算语言学家不需要担心

Michael Jordan 在 AMA 中给出了两个理由解释为什么他认为深度学习不能解决 NLP 问题,「尽管现在的深度学习研究倾向于围绕 NLP,但(1)我仍旧不相信它在 NLP 上的结果强于视觉;(2)我仍旧不相信在 NLP 的案例中强于视觉。这种方法就是将巨量数据和黑箱的学习架构结合起来」在第一个论点上,Jordan 很正确:目前,在高层语言处理问题上,深度学习还无法像语音识别、视觉识别那样极大降低错误率。尽管也有所成果,但不像降低 25% 或 50% 的错误率那样骤然。而且可以很轻松地遇见这种情况还将持续。真正的巨大收获可能只在信号处理任务上有可能。

语言学领域的人,NLP 领域的人,才是真正的设计者。

另一方面,第二个 我。然而,对于为什么 NLP 不需要担忧深度学习,我确实有自己的两个理由:(1) 对于我们领域内最聪明、在机器学习方面最具影响力的人来说 NLP 才是需要聚焦的问题领域,这很美妙; (2) 我们的领域是语言技术的领域(domain)科学;它不是关于机器学习的最佳方法——中心问题仍然是领域问题。这个领域问题不会消失。Joseph Reisinger 在其博客上写道:「我经常在初创公司做通用机器学习,坦诚讲,这是一个相当荒谬的想法。机器学习并不是毫无差别的累活,它没有像 EC2 那样商品化,并比编码更接近于设计。」

从这个角度看,语言学领域的人、NLP 领域的人,才是真正的设计者。近期的 ACL 会议已经过于关注数量、关注突破顶级成果了。可称之为 Kaggle 竞赛。该领域的更多努力应该面向问题、方法以及架构。最近,我同合作者一直专注的一件事是开发普遍依存关系(Universal Dependencies)。目标是开发出通用的句法依存表征、POS 和特征标记集。这只是一个例子,该领域还有其他的设计努力,比如抽象含义表征(Abstract Meaning Representation)的思路。

语言的深度学习

深度学习到底在哪些方面帮助了自然语言处理?从使用分布式词表征,即使用真实值向量表征词与概念来看,到目前为止,NLP 并没有从深度学习(使用更抽象的层级表征提升泛化能力)获得较大的提高。所有词之间的相似性如具有密集和多维度表征,那么将在但不仅限于 NLP 中十分有用。事实上,分布式表征的重要性唤起了早期神经网络的「分布式并行处理」浪潮,而那些方法更具有更多的认知科学导向性焦点(Rumelhart 和 McClelland 1986)。这种方法不仅能更好地解释类人的泛化,同时从工程的角度来说,使用小维度和密集型词向量允许我们对大规模语境建模,从而大大提高语言模型。从这个角度来看,提高传统的词 n-gram 模型顺序会造成指数级的稀疏性并似乎会在概念性上破产。

上一篇:Facebook在AI程序中植入294种语言 将影响19亿人
下一篇:谷歌语义理解框架SyntaxNet升级 开启无数可能性

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • ICML论文 | Facebook分享机器学习研究开源平

    ICML论文 | Facebook分享机器学习研究开源平

  • 干货 | DIY一个聊天机器人,一共分几步?

    干货 | DIY一个聊天机器人,一共分几步?

  • 人工智能,“奇点时刻”是否临近

    人工智能,“奇点时刻”是否临近

  • 入选最受关注AI公司的Kitt.AI:多轮对话聊天

    入选最受关注AI公司的Kitt.AI:多轮对话聊天