<progress id="pgr0r"><tr id="pgr0r"></tr></progress>

<dl id="pgr0r"></dl>
      <em id="pgr0r"><tr id="pgr0r"></tr></em>

      <div id="pgr0r"></div>
      <em id="pgr0r"><tr id="pgr0r"></tr></em>

      <dl id="pgr0r"></dl>

        <progress id="pgr0r"></progress>
        <progress id="pgr0r"></progress>

        <dl id="pgr0r"><ins id="pgr0r"></ins></dl>
        <progress id="pgr0r"></progress>

          <div id="pgr0r"></div>

            <dl id="pgr0r"></dl>
            <em id="pgr0r"><ins id="pgr0r"><thead id="pgr0r"></thead></ins></em>
            <div id="pgr0r"></div>
            安防-资讯

            安防展览网 > 资讯 > 品牌专栏 > 正文

            机器阅读理解超越人类 云从刷新自然语言处理新纪录

            2019-03-08 11:23:23 云从科技 点击量:40789
              【中国安防展览网 品牌专栏】近日,云从科技和上海交通大学在自然语言处理领域取得重大突破,在卡内基-梅隆大学发起的大型深层阅读理解任务数据集RACE数据集上夺得魁首,并成为超过人类排名的模型。
             


             

              云从科技与上海交通大学开创了一种阅读信息匹配机制——DCMN模?#20572;?#20351;机器的正确率达到72.1%,较之前结果(67.9%)提高了4.2个百分点,并在高中测试题部分超越人类69.4%的成绩。
             
              有种题型叫“阅读理解”
             
              不管是中文、英语还是任意其他语言,阅读理解都算得上是最难的题型之一,需要信息收集、知识储备、逻辑推理、甚至还要融会贯通的主观作答。
             
              微软?#35789;?#20154;比尔·盖茨曾经表示,“语言理解是人工智能领域?#20351;?#19978;的明珠”。
             
              机器阅读理解,是指机器通过阅读和理解大量文字,?#34892;?#25972;理和总结出人类所需要的信息。
             
              按照人工智能技术发展路径,在机器视觉、语音识别等智能感知技术在?#38405;?#19978;趋于饱和之后,下一个人工智能的突破就是自然语言处理?#28909;?#30693;决策技术。技术上形成从智能感知到认知决策的闭环,在机器上体现为会理解、会思考、会分析决策,人机交互方式更加便捷,将对各行各?#21040;?#20135;生颠?#24425;?#21019;新。
             
              例如为证券投资提供各种分析数据,进行金融风险分析、欺诈识别;在社交软件、搜索引擎辅助文字审阅和信息查找;还可以帮助医生检索和分析医学资料、辅助诊?#31995;鵲取?br /> 
              RACE数据集
             
              RACE数据集(ReAding Comprehension dataset collected from English Examinations)是一个来?#20174;?#20013;学考试题目的大规模阅读理解数据集,包含了大约28000个文章以及近100000个问题。
             
              它的形式类似于英语考试中的阅读理解(选择题),给定一篇文章,通过阅读并理解文章(Passage),针对提出的问题(Question)从选项中选择正确的答案(Answers)。
             
              RACE数据集的难点在于,该题型的正确答案并不一定直接体现在文章中,只能从语义层面深入理解文章,通过分析文中线索并基于上下文推理,选出正确答案。
             
              相对以往的抽取类阅读理解,算法要求更高,被认为是“深度阅读理解”。
             
              DCMN模型
             
              针对这种“深度阅读理解”,云从科技与上海交通大学开创了一种P、Q、与A之间的匹配机制,称为Dual Co-Matching Network(简称DCMN),并基于这种机制探索性的?#33455;?#20102;P、Q、与A的各种组合下的匹配策略。
             
              1、DCMN匹配机制
             
              以P与Q之间的匹配为例:
             

            本图为P与Q之间的DCMN匹配框架
             
              云从科技和上海交大使用目前NLP新的?#33455;?#25104;果BERT分别为P和Q中的每一个Token进行编码。基于BERT的编码,可以得到的编码是一个包含了P和Q中各自上下文信息的编码,而不是一个固定的静态编码,如上图中Hp与Hq;
             
              其次,通过Attention的方式,实现P和Q的匹配。具体来讲,是构建P中的每一个Token在Q中的Attendances,即Question-Aware的Passage,如上图中Mp。这样得到的每一个P的Token编码,包含了与Question的匹配信息;
             
              为了充分利用BERT带来的上下文信息,以及P与Q匹配后的信息,将P中每个Token的BERT编码Hp,与P中每个Token与Q匹配后的编码Mp进行融合, 对Hp和Mp进行了元素减法及乘法操作,通过一个激活函数,得到了P与Q的最终融合表示,图中表示为Spq;
             
              最后通过maxpooling操作得到Cpq,l维向量,用于最后的loss计算。
             
              2、各种匹配策略?#33455;?br /> 
              除了P与Q之间的匹配之外,还可?#26434;蠶与A、P与A之间的匹配,以?#23433;?#21516;匹配得到的匹配向量间的组合,这些不同的匹配与组合构成了不同的匹配策略。?#20113;?#31181;不同的匹配策略分别进行了试验,以找到更加合适的匹配策略,分别是:
             
              [P_Q; P_A; Q_A],  [P_Q; P_A], [P_Q; Q_A],  [P_A; Q_A],  [PQ_A], [P_QA],  [PA_Q]
             
              “PA”表示先将P和A连接为一个序列,再参与匹配,“PQ”与“QA”同理。符号“[ ; ]”表示将多种匹配的结果组合在一起。
             

            [P_Q; P_A; Q_A]模?#36739;?#30340;模?#22270;?#26500;
             
              7种不同策略经试验后,得出采用PQ_A的匹配策略,即先将P与Q连接,然后与A匹配,无论是在初中题目(RACE-M)、高中题目(RACE-H)还是整体(RACE),都得到了更优的结果。
             
              虽然目前机器在一些阅读理解数据集上的水平已经超过了人类,但这并不能表明“机器打败了人类”,?#26434;?#33258;然语言处理、?#26434;?#20154;工智能,我们?#26434;?#19968;大?#21483;?#35201;前进。

            声明:凡来源标明“安防展览网”的文章版权均为本站所有,如需转载请务必注明出处,违者本网将追究相关法律责任;所有未标明来源为“安防展览网”的转载文章目的在于传递更多信息,均不代表本网立场及观点,“安防展览网”不对这些第三方内容或链接做任何保证或承担任何责任;如涉及版权?#20219;?#39064;,请在内容发表之日起一周内与本网联系,否则视为?#29260;?#30456;关权利。

            我要评论

            所有评论仅代表网友意见,与本站立场无关。


            厦门大手控制技术有限公司

            安防期刊

            更多

            资讯视频会议协会

            咨询中心

            服务咨询QQ交谈

            在线客服QQ交谈

            媒体合作QQ交谈

            展会合作QQ交谈

            返回首页
            云南11前三走势