论文讲解自然语言处理的编码解码技术

过去半年以来，自然语言处理领域进化出了一件神器。此神器乃是深度神经网络的一种新模式，该模式分为：embed、encode、attend、predict四部分。本文将对这四个部分娓娓道来，并且剖析它在两个实例中的用法。 人们在谈论机器学习带来的提升时，往往只想到了机器在效率和准确率方面带给人们的提升，然而最重要的一点却是机器学习算法的通用性。如果你想写一段程序来识别社交媒体平台上的侮辱性帖子，就把问题泛化为“需要输入一段文本，预测出文本的类别ID”。这种分类与识别侮辱性帖子或是标记电子邮件类别之类的具体任务无关。如果两个问题的输入和输出类型都一致，那我们就应复用同一套模型的代码，两者的区别应该在于送入的训练数据不同，就像我们使用同一个游戏引擎玩不同的游戏。 笔者用spaCy和Keras实现了自然语言推理的可分解注意力模型。代码已经上传到github 假设你有一项强大的技术，可以预测实数稠密向量的类别标签。只要输入输出的格式相同，你就能用这项技术解决所有的问题。与此同时，你有另一项技术，可以用一个向量和一个矩阵预测出另一个向量。那么，现在你手里就握着三类问题的解决方案了，而不是两类。为什么是三类呢？因为如果第三类问题是通过矩阵和一个向量，得到一个类别标签，显然你可以组合利用前两种技术来解决。大多数NLP问题可以退化成输入一条或多条文本的机器学习问题。如果我们能将这些文本转化为向量，我们就可以复用现有的深度学习框架。接下来就是具体的做法。