硬件是推进自然语言处理的关键吗?

如果我们认为很难学习一种新语言，想象一下，在使用CPU和GPU来处理广泛的语言数据时，硬件和软件工程师面临的挑战。自然语言处理（NLP）试图弥合语言和计算之间的这种差距。

最近，麻省理工学院宣布，他们的研究人员已经设计了一个NLP系统这在演讲中关注更多相关关键字，而不是给出句子中的所有单词。

据研究小组称，这一发展不仅说明了软件NLP算法的关键作用，以及健壮的处理器承担现代自然语言处理系统中涉及的大量数据计算。

什么是自然语言处理？

由于冗余的出现，例如副词、冠词和介词，人类的语言很难处理和分析。自然语言处理的工作是将人类语言简化并翻译成计算机可以理解的语言。

在人类演讲中许多冗余的麻烦是，机器也经常依赖于它们，以确定对输入的句子的正面或负面情绪。为了解决哪些部分或“位”是不必要的，NLP利用其注意机制来减少数据中的字符，而不会失去其重要性。例如，术语“失败程序”缩短或修剪通过注意机制并分析为“FAILD PRGRM”。

目前的NLP系统缺少处理多个数据分支，具有复杂的运动和低算术强度，导致存储器访问较少和较慢的计算。

麻省理工学院的研究人员表示，他们做到了设计了一个称为溅射的系统这可以消除实时计算中不必要的数据，专注于关键字并预测句子中接下来的单词，而不会影响性能、效率和内存访问。

麻省理工学院的SpAtten中使用的句子分析模型可以消除语言中不重要的部分，同时仍然保留单词的本质，从而确定一个积极或消极的结果。使用的图像礼貌麻省理工学院

SpAtten的软件和硬件架构

处理大量数据装瓶到一个来源中时，过程中断挑战是常见的。利用当前NLP注意机制达到极限的一些挑战是电源，加工速度和计算。

麻省理工学院的SpAtten使用三种算法优化来减少计算和内存访问，同时提高整体性能:级联令牌剪枝、级联头部剪枝和注意力输入的渐进量化。

级联剪枝是一种实时消除计算中不必要的数据位而不会延迟的技术。一个令牌是一个在句子中找到的关键字头指计算的分支注意力机制遵循以确定未来的单词。这些算法中的每一个都被输入 - 依赖于输入和自适应所有输入的实例。

溅射的架构允许DRAM访问减少10倍，计算减少了3.8倍。使用的图像礼貌麻省理工学院

麻省理工学院的研究人员添加了一个具有完全流水线数据的并行硬件架构，以补充预期的软件，以协助实时级联。SpAtten的硬件可以通过片上位宽转换器提高带宽利用率，该转换器将获取的比特分拆为最高有效比特(MSBs)和最低有效比特(lbs)。

片上SRAM有助于内存，该内存包含修剪下令牌，可以在CPU上释放内存的多个查询中重复使用。

与谷歌的BERT和OpenAI的GPT-2比较

两个不同的任务定义了当前的NLP模型：识别和生成。歧视任务包括句子级分类和回归，这有助于模型区分是否通过或失效某些数据。生成任务处理分析数据的分布，并允许模型以序列中的下一个单词预测。

谷歌的伯特是一种基于任务的鉴别模型，需要总结给定的输入以作出预测。随着更复杂、更大的数据流量的逼近，这些类型的模型将经历更高的延迟。

谷歌伯特的使用形象在使用中，帮助搜索引擎证明了更好的结果。使用的图像礼貌谷歌

一个基于任务的生成模型的例子是Openai的GPT-2在总结输入的信息以生成新令牌后，它会扩大延迟和性能问题。

这两个模型只能一次地处理单个令牌而不是完整的句子，将注意力机制留给总延迟的大约50％。麻省理工学院的速度是NLP算法和专门为注意机制设计的外部硬件的组合。这种组合减轻了在运行GPT-2或BERT时的标准CPU面的大功耗。

GPU用于溅射的加速崩溃。使用的图像礼貌麻省理工学院

MIT解释说，由于软件和硬件的并行化以及流水线的数据路径，SpAtten的延迟更低。该模型还可以通过级联剪枝和累进量化减少计算量和DRAM访问，从而降低能耗。

飞溅可以用于移动设备吗?

由于其功耗，麻省理工学院承认，由于其功耗，薄片（其当前状态）不会适合小型因子IOT设备;溅溅物消耗8.3 W的电源，大多数移动设备不超过5次消耗。

然而，通过级联修剪来缩短输入，开发人员可以使用处理时间更短、功耗更低的较小模型。这一低功耗的目标可能是实现移动应用交互对话的下一个步骤，同时仍然维护一个更强的关注机制。

尽管NLP已经从它开始的地方走了很长一段路，但它仍然离完美还有很长的路要走。麻省理工学院表示，推进这项技术的关键——尤其是在功率和延迟方面——在于同时改进软件和硬件。