国际顶级会议 ACL 2023 近期公布了论文入选结果，IDEA 研究院 5 篇研究工作获收录为主会或 Findings 论文，在预训练语言模型、信息抽取、情感分析等方向取得了新的进展。
ACL 全称国际计算语言学年会（Meeting of the Association for Computational Linguistics），是计算语言学和自然语言处理领域最重要的顶级国际会议，是中国计算机学会（CCF）推荐的 A 类国际学术会议。ACL 2023 将于 7 月 9 日至 14 日在加拿大多伦多召开。
跟随本期文章了解 IDEA 研究院的最新学术成果，欢迎感兴趣的读者阅读论文原文。
协作推理的大规模预训练语言模型，一种类人的双重推理框架。
摘要：大规模预训练语言模型（PLMs）为挑战性问题带来了新的机会，尤其是那些需要高水平智能的问题，例如数学应用题。然而，直接将现有的 PLMs 应用于数学应用题可能会失败，因为生成过程缺乏足够的监督，无法达到如同人类的快速适应性。我们注意到，人类推理具有双重推理框架，包括立即反应系统（系统 1）和精细推理系统（系统 2），整个推理过程由它们的相互作用决定。这启发我们开发了⼀种协作推理诱导 PLM 来解决数学应用问题，称之为 Cooperative Reasoning（CoRe），其结果是⼀种类似人类的推理架构，其中系统 1 作为生成器，系统 2 作为验证器。在我们的方法中，生成器负责生成推理路径，验证器用于监督评估，以便为生成器获取可靠的反馈。我们在多个数学推理数据集评估了 CoRe 框架，部分取得了超过 SOTA 的性能表现，最高可实现超过最佳基线方法 9.6％的提升。
论文链接：https://arxiv.org/abs/2210.16257
代码链接：https://github.com/TianHongZXY/CoRe
一种基于抽取式架构的统一信息抽取方法，显著提升了各场景下信息抽取任务的性能和效率。
摘要：我们提出了一种新的统一信息抽取范式，该范式兼容任何模式的数据格式，并适用于一系列信息抽取任务，如命名实体识别、关系抽取、事件抽取和情感分析。我们的方法将基于文本的信息抽取任务转化为 token 对的解析问题，在统一的抽取框架(UniEX)下，将所有抽取目标统一拆解为联合 span 的检测、分类和关联任务。UniEX 可以对基于模式的提示信息和文本信息进行同步编码，并使用自编码器语言模型从预定义信息中协同学习泛化知识。此外，我们开发了一种三仿射注意力机制来整合任务、标签和内部 token 等异构因素，并通过评分矩阵获得抽取目标。实验结果表明，在有监督设置下的 14 个基准信息抽取数据集中，UniEX 在性能和推理速度方面都优于基于生成式架构的统一信息抽取模型，在低资源情况下的 SOTA 性能也验证了 UniEX 的迁移性和有效性。
（论文链接待公开）
一种基于 Prompt Tuning 的多视角知识检索方法，在 OpenBookQA 上实现 SOTA，位列榜单第一。
摘要：最近在预训练语言模型（PLMs）方向的进展，促进了常识推理任务的发展。然而，现有的方法依赖于多跳知识检索，所获知识存在嵌⼊噪声，导致准确性较低。此外，这些方法通常具有高计算成本和一定的知识损失，因其独立于 PLM 编码知识，与任务的相关性较小，带来较差的局部最优解。我们提出了一种新的知识检索方法 MVP-Tuning（Multi-View Knowledge Retrieval with Prompt Tuning），利用训练集中的类似问答对来改进知识检索，并使用单个提示调整的 PLM 共同建模知识和输入文本。 我们在五个常识推理的 QA 基准上进行实验，结果表明，MVP-Tuning 仅使用最多 2％的可训练参数，在其中四项的表现均能优于已有基线。模型集成在 OpenBookQA 上实现 SOTA，取得榜单第⼀。
（论文链接待公开）
首个基于扩散模型解决事件骨架生成的方案，将离散事件点转成连续空间的潜在变量，SOTA 性能。（收录至 Findings of ACL）
摘要：事件骨架生成，旨在从一组事件实例图中归纳出一个带有抽象事件节点和它们的时间关系的事件模式骨架图，是时间复杂事件模式归纳任务中的关键步骤。现有方法从图形生成的角度有效解决了这一任务，但存在噪声敏感和误差积累的问题，例如在生成模式时无法纠正错误。因此，我们提出了一种新颖的扩散事件图模型（Diffusion Event Graph Model, DEGM）。这是第一个在事件骨架生成上可行的扩散模型，其中引入了嵌入和取整技术，以及基于边缘的定制损失，将离散事件图转换为可学习的潜在表示。此外，我们提出了去噪训练过程，以保持模型的稳健性。因此，DEGM 得出了最终的模式，通过在生成模式过程中迭代地优化潜在表示来保证纠正错误。在三个 IED 爆炸数据集上的实验结果表明，我们的 DEGM 比已有最先进的基线方法取得了更好的结果。
论文链接：https://arxiv.org/abs/2305.17458
代码链接：https://github.com/zhufq00/EventSkeletonGeneration
一个高效的统一单步情感四元组识别方法及两个面向正式场景的开源 ASQP 数据集。（收录至 Findings of ACL）
摘要：细粒度情感四元组识别(Aspect sentiment quad prediction, ASQP)是细粒度情感分析中具有挑战性的重要子任务。现有方法包括 Pipeline 和 Generation 两个方案，存在易受误差传播的影响和生成效率低下的问题。已有方案主要在单句级别的数据集上进行实验，但现实场景中的文本更为复杂，这些方案未能取得好的效果和效率。为了解决上述挑战，我们提出了单步识别(One-Step)的情感四元组识别模型，简称 One-ASQP。One-ASQP 把 ASQP 任务拆分成特征类别检测 (aspect category dectection)和特征词-情感词-情感级性三元组抽取(aspect-opinion-sentiment co-extraction)两个独立的任务。One-ASQP 优点包括: (1)将 ASQP 拆分成两个子任务并独立并行解决，避免错误传播，同时克服训练和推理的效率低的问题; (2)引入基于情感级性的角标签模式，使得情感元素在模型内部的交互更深入; (3)加入”[NULL]”标签，帮助有效识别隐含的特征词和情感词。此外，论文还开源了两个面向真实场景的 ASQP 数据集。实验表明，在己有的基准数据集和此次开源的数据集中，One-ASQP 无论在效果还是效率方面都表现出色。
国际顶级会议 ACL 2023 近期公布了论文入选结果，IDEA 研究院 5 篇研究工作获收录为主会或 Findings 论文，在预训练语言模型、信息抽取、情感分析等方向取得了新的进展。
ACL 全称国际计算语言学年会（Meeting of the Association for Computational Linguistics），是计算语言学和自然语言处理领域最重要的顶级国际会议，是中国计算机学会（CCF）推荐的 A 类国际学术会议。ACL 2023 将于 7 月 9 日至 14 日在加拿大多伦多召开。
跟随本期文章了解 IDEA 研究院的最新学术成果，欢迎感兴趣的读者阅读论文原文。
协作推理的大规模预训练语言模型，一种类人的双重推理框架。
摘要：大规模预训练语言模型（PLMs）为挑战性问题带来了新的机会，尤其是那些需要高水平智能的问题，例如数学应用题。然而，直接将现有的 PLMs 应用于数学应用题可能会失败，因为生成过程缺乏足够的监督，无法达到如同人类的快速适应性。我们注意到，人类推理具有双重推理框架，包括立即反应系统（系统 1）和精细推理系统（系统 2），整个推理过程由它们的相互作用决定。这启发我们开发了⼀种协作推理诱导 PLM 来解决数学应用问题，称之为 Cooperative Reasoning（CoRe），其结果是⼀种类似人类的推理架构，其中系统 1 作为生成器，系统 2 作为验证器。在我们的方法中，生成器负责生成推理路径，验证器用于监督评估，以便为生成器获取可靠的反馈。我们在多个数学推理数据集评估了 CoRe 框架，部分取得了超过 SOTA 的性能表现，最高可实现超过最佳基线方法 9.6％的提升。
论文链接：https://arxiv.org/abs/2210.16257
代码链接：https://github.com/TianHongZXY/CoRe
一种基于抽取式架构的统一信息抽取方法，显著提升了各场景下信息抽取任务的性能和效率。
摘要：我们提出了一种新的统一信息抽取范式，该范式兼容任何模式的数据格式，并适用于一系列信息抽取任务，如命名实体识别、关系抽取、事件抽取和情感分析。我们的方法将基于文本的信息抽取任务转化为 token 对的解析问题，在统一的抽取框架(UniEX)下，将所有抽取目标统一拆解为联合 span 的检测、分类和关联任务。UniEX 可以对基于模式的提示信息和文本信息进行同步编码，并使用自编码器语言模型从预定义信息中协同学习泛化知识。此外，我们开发了一种三仿射注意力机制来整合任务、标签和内部 token 等异构因素，并通过评分矩阵获得抽取目标。实验结果表明，在有监督设置下的 14 个基准信息抽取数据集中，UniEX 在性能和推理速度方面都优于基于生成式架构的统一信息抽取模型，在低资源情况下的 SOTA 性能也验证了 UniEX 的迁移性和有效性。
（论文链接待公开）
一种基于 Prompt Tuning 的多视角知识检索方法，在 OpenBookQA 上实现 SOTA，位列榜单第一。
摘要：最近在预训练语言模型（PLMs）方向的进展，促进了常识推理任务的发展。然而，现有的方法依赖于多跳知识检索，所获知识存在嵌⼊噪声，导致准确性较低。此外，这些方法通常具有高计算成本和一定的知识损失，因其独立于 PLM 编码知识，与任务的相关性较小，带来较差的局部最优解。我们提出了一种新的知识检索方法 MVP-Tuning（Multi-View Knowledge Retrieval with Prompt Tuning），利用训练集中的类似问答对来改进知识检索，并使用单个提示调整的 PLM 共同建模知识和输入文本。 我们在五个常识推理的 QA 基准上进行实验，结果表明，MVP-Tuning 仅使用最多 2％的可训练参数，在其中四项的表现均能优于已有基线。模型集成在 OpenBookQA 上实现 SOTA，取得榜单第⼀。
（论文链接待公开）
首个基于扩散模型解决事件骨架生成的方案，将离散事件点转成连续空间的潜在变量，SOTA 性能。（收录至 Findings of ACL）
摘要：事件骨架生成，旨在从一组事件实例图中归纳出一个带有抽象事件节点和它们的时间关系的事件模式骨架图，是时间复杂事件模式归纳任务中的关键步骤。现有方法从图形生成的角度有效解决了这一任务，但存在噪声敏感和误差积累的问题，例如在生成模式时无法纠正错误。因此，我们提出了一种新颖的扩散事件图模型（Diffusion Event Graph Model, DEGM）。这是第一个在事件骨架生成上可行的扩散模型，其中引入了嵌入和取整技术，以及基于边缘的定制损失，将离散事件图转换为可学习的潜在表示。此外，我们提出了去噪训练过程，以保持模型的稳健性。因此，DEGM 得出了最终的模式，通过在生成模式过程中迭代地优化潜在表示来保证纠正错误。在三个 IED 爆炸数据集上的实验结果表明，我们的 DEGM 比已有最先进的基线方法取得了更好的结果。
论文链接：https://arxiv.org/abs/2305.17458
代码链接：https://github.com/zhufq00/EventSkeletonGeneration
一个高效的统一单步情感四元组识别方法及两个面向正式场景的开源 ASQP 数据集。（收录至 Findings of ACL）
摘要：细粒度情感四元组识别(Aspect sentiment quad prediction, ASQP)是细粒度情感分析中具有挑战性的重要子任务。现有方法包括 Pipeline 和 Generation 两个方案，存在易受误差传播的影响和生成效率低下的问题。已有方案主要在单句级别的数据集上进行实验，但现实场景中的文本更为复杂，这些方案未能取得好的效果和效率。为了解决上述挑战，我们提出了单步识别(One-Step)的情感四元组识别模型，简称 One-ASQP。One-ASQP 把 ASQP 任务拆分成特征类别检测 (aspect category dectection)和特征词-情感词-情感级性三元组抽取(aspect-opinion-sentiment co-extraction)两个独立的任务。One-ASQP 优点包括: (1)将 ASQP 拆分成两个子任务并独立并行解决，避免错误传播，同时克服训练和推理的效率低的问题; (2)引入基于情感级性的角标签模式，使得情感元素在模型内部的交互更深入; (3)加入”[NULL]”标签，帮助有效识别隐含的特征词和情感词。此外，论文还开源了两个面向真实场景的 ASQP 数据集。实验表明，在己有的基准数据集和此次开源的数据集中，One-ASQP 无论在效果还是效率方面都表现出色。
粤ICP备2020119212号 © 2023年 粤港澳大湾区数字经济研究院（福田）版权所有 
粤公网安备 44030402006206号
