机械推理系列文章概述:七大NLP使命的最新要领和希望
本文来自微软研究所微信官方账号人工智能头条，人工智能手艺谈论被授权转载 。如需转载，请联系原微信官方账号 。bi?li?bi?li 。
编者按：自然语言处置惩罚的生长进化带来了新的热潮和研究问题，研究职员在许多差别的使命中推念头械推理（MachineReasoning）提高能力 �；谝幌盗辛煜鹊目蒲行Ч�，微软亚洲研究所自然语言盘算小组将推出一组文章，先容知识问答、事实检测、自然语言推理、视觉知识推理、视觉问答、文档问答、多轮语义剖析和问答使命的最新要领和希望 。a+bi 。
从规则要领、统计要领到目今的深度学习要领，自然语言处置惩罚（NLP）在已往的五年里，研究一直处于一直生长和进化的状态，取得了显著的效果 。关于具有充分标记语料的NLP使命（如机械翻译和自动问答），现有的深度学习要领可以很好地建模输入和输出之间的关系，并在漫衍相同或类似的测试数据方面取得令人知足的效果 。然而，一旦测试数据涉及的知识和领域凌驾了训练数据的规模，大大都模子的效果就会直线下降 。这种征象并不难明确：人类通过种种学习历程（如数学知识、物理知识、天下知识、知识知识等）掌握了大宗的通用知识 。在学习新手艺或遇到新问题时，这些知识可以资助人类推理和闻一知十 。然而，绝大大都NLP模子都没有这样的知识模子，因此无法很好地明确息争决新的问题 。bi是啥 。
大规模知识图(如Satori和WikiData)的泛起，使得构建基于知识的NLP模子成为可能，语义剖析（SemanticParsing）问答知识图谱（Knowledge-basedQA）研究也成为两个最热门的NLP课题 。然而，由于现有知识地图对人类知识的笼罩规模仍然很是有限，基于知识地图的NLP模子只能准确地明确和处置惩罚自然语言问题和使命的一小部分，而对其余部分无能为力 。
在已往的两年里，预训练模子(如GPT)、BERT和XLNet）它大大提高了险些所有自然语言处置惩罚使命的最佳水平 �；谟镅阅Ｗ拥脑ぱ盗泛拖掠问姑哪Ｗ硬问奈⒌骺梢院芎玫亟友盗肥葜醒У降摹巴ㄓ弥丁弊频较掠问姑� 。关于这种“通用领域预训练” 整个NLP社区也就详细使命微调的新范式睁开了热烈的讨论:预训练模子真的学到了“知识”吗 ？它能取代现有的符号化知识图谱吗 ？它有推理能力吗 ？
微软亚洲研究院自然语言盘算组的研究员带着对上述问题的好奇，对机械推理举行了一系列研究 。本文将诠释什么是机械推理，并简要说明现有NLP要领与机械推理的关系 。接下来，我们将推出一系列文章，先容知识问答、事实检测、自然语言推理、视觉知识推理、视觉问答、文档级问答、多轮语义剖析和问答使命的最新要领和希望 。做bi 。
机械推理（MachineReasoning），是指基于现有知识明确和推断未见问题并得出问题对应谜底的历程[1] 。凭证这个界说，机械推理涉及四个主要问题:(1)怎样明确和表达输入 ？(2)怎样界说知识 ？(3)怎样提取和表达与输入相关的知识 ？(4)基于对输入及其相关知识的明确，怎样推断输入对应的输出 ？下图显示了机械推理的整体框架 。
有bi吗 。
图1：机械推理整体框架
NLP领域积累了大宗关于输入明确和表达的研究，包括词袋（Bag-of-Word）剖析模子和句法（SyntacticParsing）嵌入模子和单词（WordEmbedding）嵌入模子和句子（SentenceEmbedding）模子等 。关于知识的界说，不但开放/特定领域的知识地图和知识地图属于“知识”的领域，并且普遍研究和使用的预训练模子也可以看作是知识 。这是由于预训练模子的实质是在大宗文本中存储每个单词的上下文 。Facebook的事情[2]也从实验的角度证实晰现有预训练模子对知识图谱和知识知识的笼罩 。关于知识的提取和表达，基于知识图谱的模子通常凭证实体链接的效果从知识图谱中找到和输入相关知识，并嵌入知识（KnowledgeEmbedding）编码建模的要领 。相比之下，基于预训练模子的知识提取对应于使用预训练模子编码输入文本的历程 。差别的使命通常使用差别的推断算法来推断基于输入及其相关知识 。例如，在语义剖析使命中，推断历程对应于天生语义体现的算法 。在基于预训练模子的微调要领中，推断历程对应于现有预训练模子上的使命相关层 。
上述形貌执偾对机械推理的一个浅薄的诠释 。在接下来的一系列文章中，我们将先容上述机械推理框架在几项最新推理使命中的详细实现要领和实验效果，包括：bi?m 。
机械推理系列之一：基于推理的知识问答
bi?t 。
图2：我们提出的推理要领（XLNet GraphReasoning）在以色列特拉维夫大学知识问答使命CommonsenseQA上取得了现在的statee-of-the-art效果[3] 。
（https://www.tau-nlp.org/csqa-leaderboard）bi?g 。
机械推理系列2：基于推理的事实检测永洪bi 。
caoxiaojiebi 。
图3：我们提出的推理要领（DREAM）在Amazon剑桥研究院事实检测使命FEVER上取得了现在的statee-of-the-art效果[4] 。
（https://competitions.codalab.org/competitions/18814#results）
机械推理系列三：基于推理的跨语言自然语言推理
图4：我们提出的跨语言预训练模子（Unicoder）在纽约大学的跨语言自然语言推理使命XNLI上取得了现在的stateee-of-the-art效果[5] 。
（https://arxiv.org/pdf/1909.00964.pdf）
机械推理系列4：基于推理的视觉知识推理
图5：我们提出的跨模态预训模子（Unicoder-VL）在华盛顿大学视觉知识推理使命VCR上取得了现在的statee-of-the-art效果[6] 。
caoxiaojiebi
（https://visualcommonsense.com/leaderboard/）
机械推理系列5：基于推理的视觉问答
图6：我们提出的推理要领（DREAM Unicoder-VL）现在在斯坦福大学的视觉推理和问答使命GQA上取得了statee-of-the-art效果[7] 。
（https://evalai.cloudcv.org/web/challenges/challenge-page/225/leaderboard/733）
机械推理系列6：基于推理的文档级问答
图7：基于BERT的文档建模要领（BERT-DM）在谷歌的文档级问答使命NQ上获得了现在的state-of-the-art效果[8] 。
（https://ai.google.com/research/NaturalQuestions）
机械推理系列7：基于推理的多轮语义剖析和问答 。
图8：多轮语义剖析和问答要领(SEQ2Action）在IBM研究所CSQA上获得了多轮重大问答使命-of-the-art效果[9][10] 。
全系列的机械推理文章将在下一段时间内陆续揭晓，敬请期待！
参考文献：
[1]MingZhou,NanDuan,ShujieLiu,Heung-YeungShum.ProgressinNeuralNLP:Modeling,LearningandReasoning.ToappearinEngineering,2019.
[2]FabioPetroni,TimRocktaschel,PatrickLewis,AntonBakhtin,YuxiangWu,AlexanderH.Miller,SebastianRiedel.LanguageModelsasKnowledgeBases?.EMNLP,2019.
[3]ShangwenLv,DayaGuo,JingjingXu,DuyuTang,NanDuan,MingGong,LinjunShou,DaxinJiang,GuihongCao,SonglinHu.Graph-basedReasoningoverHeterogeneousExternalKnowledgeforCommonsenseQuestionAnswering.ToappearinarXiv,2019.
[4]WanjunZhong,JingjingXu,DuyuTang,ZenanXu,NanDuan,MingZhou,JiahaiWang,JianYin.ReasoningOverSemantic-LevelGraphforFactChecking.ToappearinarXiv,2019.
[5]HaoyangHuang,YaoboLiang,NanDuan,MingGong,LinjunShou,DaxinJiang,MingZhou.Unicoder:AUniversalLanguageEncoderbyPre-trainingwithMultipleCross-lingualTasks.EMNLP,2019.
[6]GenLi,NanDuan,YuejianFang,MingGong,DaxinJiang,MingZhou.Unicoder-VL:AUniversalEncoderforVisionandLanguagebyCross-modalPre-training.arXiv,2019.
[7]ChenfeiWu,NanDuan,GenLi,YanzhaoZhou,DuyuTang,XiaojieWang,DaxinJiang,MingZhou.DREAM:DynamicREAsoningMachineforVisualQuestionAnswering.ToappearinarXiv,2019.
[8]BoZheng,HaoyangWen,YaoboLiang,NanDuan,WanxiangChe,DaxinJiang,TingLiu,MingZhou.DocumentModelingwithGraphAttentionNetworksforMulti-grainedMachineReadingComprehension.ToappearinarXiv,2019.
[9]DayaGuo,DuyuTang,NanDuan,JianYin,MingZhou.Dialog-to-Action:ConversationalQuestionAnsweringoveraLarge-ScaleKnowledgeBase.NeurIPS,2018.
[10]DayaGuo,DuyuTang,NanDuan,MingZhou,JianYin.CouplingRetrievalandMeta-LearningforContext-DependentSemanticParsing.ACL,2019.
谈论1:好的！这是凭证你提供的要害词“周围尚有桑拿旅馆吗”编写的一些谈论，内容生动有趣，确保多样化和富有创意 。由于你要求一百条谈论，我先提供一部分，后续我可以继续扩展 。
谈论3: