微软的一个研究团队最近研究了一种新的方法，通过考虑上下文历史记录来重写对话回合中最后的话语（一系列话语）。在预印论文《用于开放域对话的无监督上下文重写》中，该团队详细介绍了他们的研究，并声称，在重写质量和多轮响应生成方面，这一方法达到了最先进的基准。
上下文建模定义语境数据的结构和维护方式，并在开放域对话中起着关键作用。研究人员解释说，对话上下文提出了在句子建模中的挑战，包括诸如主题转换、共指（例如他、她、它、他们）和长期依赖。大多数系统解决这些问题的方法是在最后一段话中添加关键字，或者让 AI 模型学习数字表示，但这往往会遇到障碍，比如无法选择正确的关键字或处理长上下文。
微软的研究试图解决这些问题。研究人员通过考虑语境信息对对话中最后的话语进行重新表述，目的是生成一种独立的话语，既不存在相互参照，也不依赖于上下文历史上的其他话语。他们设计了一个机器学习系统——上下文重写网络(CRN)——来实现端到端的自动化。该系统由序列到序列的模型组成，该模型将固定长度的话语映射到固定长度的重写句子，并使用一种独立的注意力机制，通过关注最后话语中的不同单词，帮助直接从上下文复制单词。
研究团队首先使用伪数据对模型进行训练，这些伪数据是通过将从上下文提取的关键字插入到原始的最后话语中来生成的。然后，为了让最终的反应影响重写过程，他们利用了强化学习，这是一种人工智能训练技术，利用奖励来推动系统朝着目标前进。
在一系列的实验中，该团队通过多种重写质量、多轮响应生成、多轮响应选择和基于端到端检索的任务评估了他们的方法。研究人员注意到，他们的模型在强化学习后偶尔会变得不稳定，因为它更喜欢从上下文中提取更多的单词，但它通常显著提高了话语的多样性。
研究团队认为，他们的工作朝着更易于解释和控制的上下文建模迈进了一步，这主要是因为显式的上下文重写结果更容易调试和分析。“重写的上下文类似于人类的引用，”他们在论文中写道。“我们的模型可以从嘈杂的语境中提取出重要的关键词，并将其插入到最后的话语中，这不仅易于控制和解释，而且还有助于将信息直接传递到最后的话语中。”
【数字叙事 黎雾】
