当前位置: 首 页 > 机器学习 >

当 AI 邂逅艺术:机器写诗综述(2)

来源:雷锋网 发布日期:2017-05-15

生成模型: 基于 encoder-decoder 框架。有两个 encoder, 其中一个 encoder 将主题词作为输入,另外一个 encoder 将历史生成的句子拼在一起作为输入,由 decoder...

生成模型:基于 encoder-decoder 框架。有两个 encoder, 其中一个 encoder 将主题词作为输入,另外一个 encoder 将历史生成的句子拼在一起作为输入,由 decoder 生成下一句话。decoder 生成的时候,利用 Attention 机制,对主题词和历史生成内容的向量一起做打分,由模型来决定生成的过程中各部分的重要性。

前面介绍的几个模型,用户的写作意图,基本只能反映在第一句,随着生成过程往后进行,后面句子和用户写作意图的关系越来越弱,就有可能发生主题漂移问题。而规划模型可以使用户的写作意图直接影响整首诗的生成,因此在一定程度上,避免了主题漂移问题,使整首诗的逻辑语义更为连贯。

总体框架图如下:

当 AI 邂逅艺术:机器写诗综述

生成模型框架图如下:

当 AI 邂逅艺术:机器写诗综述

诗歌图灵测试:给定一个题目,让机器和人分别做一首诗 ,由人来区分哪首诗是人写的。实验结果也很有意思,对普通人来说,已经无法区分诗是由机器生成的还是人生成的,下面是一组测试的例子:

当 AI 邂逅艺术:机器写诗综述

现代概念诗歌生成例子:

当 AI 邂逅艺术:机器写诗综述

i, Poet: Automatic Poetry Composition through Recurrent Neural Networks with Iterative Polishing Schema

模型 [7] 基于 encoder-decoder 框架。encoder 阶段,用户提供一个 Query 作为自己的写作意图, 由 CNN 模型获取 Query 的向量表示。decoder 阶段,使用了 hierarchical 的 RNN 生成框架,由句子级别和词级别两个 RNN 组成。

句子级别 RNN:输入句子向量表示,输出下一个句子的 Context 向量。

字符级别 RNN:输入 Context 向量和历史生成字符,输出下一个字符的概率分布。当一句生成结束的时候,字符级别 RNN 的最后一个向量,作为表示这个句子的向量,送给句子级别 RNN。

这篇文章一个比较有意思的地方,是想模拟人类写诗反复修改的过程,加入了打磨机制。反复迭代来提高诗歌生成质量。

总体框架图如下:

当 AI 邂逅艺术:机器写诗综述

Generating Topical Poetry

模型 [9] 基于 encoder-decoder 框架,分为两步。先根据用户输入的关键词得到每句话的最后一个词,这些词都押韵且与用户输入相关。再将这些押韵词作为一个序列,送给 encoder, 由 decoder 生成整个诗歌。这种机制一方面保证了押韵,另外一方面,和之前提到的规划模型类似,在一定程度上避免了主题漂移问题。

模型框架图如下:

当 AI 邂逅艺术:机器写诗综述

生成例子如下:

当 AI 邂逅艺术:机器写诗综述

SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient

模型 [10] 将图像中的对抗生成网络,用到文本生成上。生成网络是一个 RNN,直接生成整首诗歌。而判别网络是一个 CNN。用于判断这首诗歌是人写的,还是机器生成的,并通过强化学习的方式,将梯度回传给生成网络。
模型框架图如下:

当 AI 邂逅艺术:机器写诗综述

总结

从传统方法到深度学习,诗歌生成技术有了很大发展,甚至在一定程度上,已经可以产生普通人真假难辨的诗歌。但是目前诗歌生成技术,学习到的仍然只是知识的概率分布,即诗句内,诗句间的搭配规律。而没有学到诗歌蕴含思想感情。因此尽管生成的诗歌看起来有模有样,但是仍然感觉只是徒有其表,缺乏一丝人的灵性。
另外一方面,诗歌不像机器翻译有 BLEU 作为评价指标,目前仍然依赖人工的主观评价,缺乏可靠的自动评估方法,因此模型优化的目标函数和主观的诗歌评价指标之间,存在较大的 gap,也影响了诗歌生成质量的提高。在围棋博弈上,以 AlphaGo 为代表的机器已经超过了人类顶尖选手,但是在诗歌生成上,离人类顶尖诗人水平,尚有很长的路要走。

上一篇:微软官方解读自家机器阅读研究:要教机器学会阅读、回答和提问
下一篇:一个框架解决几乎所有机器学习问题

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 专访姚劲波:未来去家里服务的可能是机器人

    专访姚劲波:未来去家里服务的可能是机器人

  • 当 AI 邂逅艺术:机器写诗综述

    当 AI 邂逅艺术:机器写诗综述

  • 机器还是凶器?机器人"行凶"后,人机如何共

    机器还是凶器?机器人"行凶"后,人机如何共

  • Master以26胜0负完胜顶级围棋手:是AI还是柯

    Master以26胜0负完胜顶级围棋手:是AI还是柯