<progress id="pgr0r"><tr id="pgr0r"></tr></progress>

<dl id="pgr0r"></dl>
      <em id="pgr0r"><tr id="pgr0r"></tr></em>

      <div id="pgr0r"></div>
      <em id="pgr0r"><tr id="pgr0r"></tr></em>

      <dl id="pgr0r"></dl>

        <progress id="pgr0r"></progress>
        <progress id="pgr0r"></progress>

        <dl id="pgr0r"><ins id="pgr0r"></ins></dl>
        <progress id="pgr0r"></progress>

          <div id="pgr0r"></div>

            <dl id="pgr0r"></dl>
            <em id="pgr0r"><ins id="pgr0r"><thead id="pgr0r"></thead></ins></em>
            <div id="pgr0r"></div>
            安防-資訊

            中國安防展覽網 > 資訊 > 品牌專欄 > 正文

            機器閱讀理解超越人類 云從刷新自然語言處理新紀錄

            2019-03-08 11:23:23 云從科技 點擊量:19424
              【中國安防展覽網 品牌專欄】近日,云從科技和上海交通大學在自然語言處理領域取得重大突破,在卡內基-梅隆大學發起的大型深層閱讀理解任務數據集RACE數據集上奪得魁首,并成為超過人類排名的模型。
             


             

              云從科技與上海交通大學開創了一種閱讀信息匹配機制——DCMN模型,使機器的正確率達到72.1%,較之前結果(67.9%)提高了4.2個百分點,并在高中測試題部分超越人類69.4%的成績。
             
              有種題型叫“閱讀理解”
             
              不管是中文、英語還是任意其他語言,閱讀理解都算得上是最難的題型之一,需要信息收集、知識儲備、邏輯推理、甚至還要融會貫通的主觀作答。
             
              微軟創始人比爾·蓋茨曾經表示,“語言理解是人工智能領域皇冠上的明珠”。
             
              機器閱讀理解,是指機器通過閱讀和理解大量文字,有效整理和總結出人類所需要的信息。
             
              按照人工智能技術發展路徑,在機器視覺、語音識別等智能感知技術在性能上趨于飽和之后,下一個人工智能的突破就是自然語言處理等認知決策技術。技術上形成從智能感知到認知決策的閉環,在機器上體現為會理解、會思考、會分析決策,人機交互方式更加便捷,將對各行各業將產生顛覆式創新。
             
              例如為證券投資提供各種分析數據,進行金融風險分析、欺詐識別;在社交軟件、搜索引擎輔助文字審閱和信息查找;還可以幫助醫生檢索和分析醫學資料、輔助診斷等等。
             
              RACE數據集
             
              RACE數據集(ReAding Comprehension dataset collected from English Examinations)是一個來源于中學考試題目的大規模閱讀理解數據集,包含了大約28000個文章以及近100000個問題。
             
              它的形式類似于英語考試中的閱讀理解(選擇題),給定一篇文章,通過閱讀并理解文章(Passage),針對提出的問題(Question)從選項中選擇正確的答案(Answers)。
             
              RACE數據集的難點在于,該題型的正確答案并不一定直接體現在文章中,只能從語義層面深入理解文章,通過分析文中線索并基于上下文推理,選出正確答案。
             
              相對以往的抽取類閱讀理解,算法要求更高,被認為是“深度閱讀理解”。
             
              DCMN模型
             
              針對這種“深度閱讀理解”,云從科技與上海交通大學開創了一種P、Q、與A之間的匹配機制,稱為Dual Co-Matching Network(簡稱DCMN),并基于這種機制探索性的研究了P、Q、與A的各種組合下的匹配策略。
             
              1、DCMN匹配機制
             
              以P與Q之間的匹配為例:
             

            本圖為P與Q之間的DCMN匹配框架
             
              云從科技和上海交大使用目前NLP新的研究成果BERT分別為P和Q中的每一個Token進行編碼。基于BERT的編碼,可以得到的編碼是一個包含了P和Q中各自上下文信息的編碼,而不是一個固定的靜態編碼,如上圖中Hp與Hq;
             
              其次,通過Attention的方式,實現P和Q的匹配。具體來講,是構建P中的每一個Token在Q中的Attendances,即Question-Aware的Passage,如上圖中Mp。這樣得到的每一個P的Token編碼,包含了與Question的匹配信息;
             
              為了充分利用BERT帶來的上下文信息,以及P與Q匹配后的信息,將P中每個Token的BERT編碼Hp,與P中每個Token與Q匹配后的編碼Mp進行融合, 對Hp和Mp進行了元素減法及乘法操作,通過一個激活函數,得到了P與Q的最終融合表示,圖中表示為Spq;
             
              最后通過maxpooling操作得到Cpq,l維向量,用于最后的loss計算。
             
              2、各種匹配策略研究
             
              除了P與Q之間的匹配之外,還可以有Q與A、P與A之間的匹配,以及不同匹配得到的匹配向量間的組合,這些不同的匹配與組合構成了不同的匹配策略。對七種不同的匹配策略分別進行了試驗,以找到更加合適的匹配策略,分別是:
             
              [P_Q; P_A; Q_A],  [P_Q; P_A], [P_Q; Q_A],  [P_A; Q_A],  [PQ_A], [P_QA],  [PA_Q]
             
              “PA”表示先將P和A連接為一個序列,再參與匹配,“PQ”與“QA”同理。符號“[ ; ]”表示將多種匹配的結果組合在一起。
             

            [P_Q; P_A; Q_A]模式下的模型架構
             
              7種不同策略經試驗后,得出采用PQ_A的匹配策略,即先將P與Q連接,然后與A匹配,無論是在初中題目(RACE-M)、高中題目(RACE-H)還是整體(RACE),都得到了更優的結果。
             
              雖然目前機器在一些閱讀理解數據集上的水平已經超過了人類,但這并不能表明“機器打敗了人類”,對于自然語言處理、對于人工智能,我們仍有一大步需要前進。

            聲明:凡來源標明“中國安防展覽網”的文章版權均為本站所有,如需轉載請務必注明出處,違者本網將追究相關法律責任;所有未標明來源為“中國安防展覽網”的轉載文章目的在于傳遞更多信息,均不代表本網立場及觀點,“中國安防展覽網”不對這些第三方內容或鏈接做任何保證或承擔任何責任;如涉及版權等問題,請在內容發表之日起一周內與本網聯系,否則視為放棄相關權利。

            我要評論

            所有評論僅代表網友意見,與本站立場無關。


            2018智慧安防項目接洽會

            安防期刊

            更多

            資訊視頻會議協會

            咨詢中心

            服務咨詢QQ交談

            在線客服QQ交談

            媒體合作QQ交談

            展會合作QQ交談

            返回首頁
            云南11前三走势