建站
咨詢
售后
建站咨詢
新聞中心
深度好奇(DeeplyCurious.ai)近日在 arXiv 上發(fā)布的論文提出了一種基于神經(jīng)符號智能(Neural-symbolic)的特定領(lǐng)域文本解析框架：
從網(wǎng)站建設(shè)到定制行業(yè)解決方案，為提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作服務(wù)體系，各種行業(yè)企業(yè)客戶提供網(wǎng)站建設(shè)解決方案，助力業(yè)務(wù)快速發(fā)展。創(chuàng)新互聯(lián)將不斷加快創(chuàng)新步伐，提供優(yōu)質(zhì)的建站服務(wù)。
Object-oriented Neural Programming(OONP)。
論文題目：用于文檔理解的面向?qū)ο笊窠?jīng)規(guī)劃
論文鏈接：https://arxiv.org/pdf/1709.08853.pdf
該框架借用面向?qū)ο缶幊?OOP)的思想，利用解析出來的實(shí)體組成對象和對象間關(guān)系(如圖 1)，構(gòu)成結(jié)構(gòu)清晰的本體圖。每個(gè)對象 (object) 都是一個(gè)類 (class) 的實(shí)例化，類的概念規(guī)定了其具有的內(nèi)部屬性、外部關(guān)系和可執(zhí)行的操作，以及與其他對象的關(guān)系類型。如圖 1 所示，左邊為敘事文本，右邊為經(jīng)過 OONP 解析生成的本體圖。圖例中共包含三個(gè)類的對象，分別為事件、人物、物品。人物類有姓名、性別、年齡屬性，同時(shí)與事件對象有嫌疑人、被害人等表征人物角色的外部鏈接;物品類有名稱、數(shù)量、價(jià)值等屬性，與事件對象有表征物品角色的外部鏈接;另事件類有事件類型、時(shí)間、地點(diǎn)等屬性。
圖 1. OONP 解析任務(wù)示意
下面我們拆解 OONP 框架并介紹其主要功能模塊。如圖 2 所示，OONP 由三部分組成，分別是主控模塊閱讀器(Reader)、表征文檔的行間記憶(Inline Memory)模塊、以及總結(jié)對之前文本的理解的攜帶記憶(Carry-on Memory)模塊。
圖 2. OONP 解析的基本框架
- 行間記憶(Inline Memory)模塊主要存儲(chǔ)保留了原始文檔時(shí)間順序的低級表征。具體來說，行間記憶是由記憶單元按照原始文檔的順序排列組成的數(shù)組，每個(gè)單元對應(yīng)著文檔的基本語言單位(比如字或者詞)，有可微分部分和離散部分。這兩個(gè)部分可以方便的存儲(chǔ)多種類型的和文本相關(guān)的信息，從簡單的 Word Embedding、遞歸神經(jīng)網(wǎng)絡(luò)(RNN)輸出等連續(xù)表示，到詞性分類結(jié)果、句法信息，以及起來自特定規(guī)則的離散表示。這既可以來自第三方的程序，也可以來自 OONP 自己的寫入。
- 攜帶記憶(Carry-on Memory)模塊可分為對象記憶(Object Memory)、矩陣記憶 (Matrix Memory) 和動(dòng)作歷史 (Action History) 三部分。對象記憶存儲(chǔ)針對對象的具體表示，對象的內(nèi)部屬性可以有不同的形式，比如字段或者類別，同時(shí)也對應(yīng)著不同的形成方式：字段一般是從原文復(fù)制粘貼過來，類別則是通過分類模塊得到的。同時(shí)，每個(gè)對象也有可動(dòng)態(tài)調(diào)整的可微分表示(object embedding)作為其與其他模塊交互的接口。當(dāng) OONP 每次讀到文本中針對某個(gè)對象的描述，就會(huì)對對象記憶中該對象的相關(guān)部分信息中進(jìn)行更新操作。
- 閱讀器(Reader)是 OONP 解析器的核心模塊，它管理整個(gè)決策序列中所有連續(xù)的、離散的操作。它由多個(gè)符號處理器和一個(gè)神經(jīng)網(wǎng)絡(luò)控制器構(gòu)器。如圖 3 所示，閱讀器有神經(jīng)網(wǎng)絡(luò)控制器(Neural Net Controller)和多個(gè)符號處理器(圖 3 中的黑色模塊)。類似神經(jīng)圖靈機(jī)中控制器的設(shè)計(jì)，神經(jīng)網(wǎng)絡(luò)控制器配有多個(gè)可微的讀頭(read-head)和寫頭 (write-head), 用于讀取行間記憶和攜帶記憶以及符號處理器的輸出但。與神經(jīng)圖靈機(jī)中控制器不同，控制器的子模塊策略網(wǎng)絡(luò)(Policy-net)產(chǎn)生離散操作(action)序列，一部分操作序列將會(huì)更新本體結(jié)構(gòu)和相關(guān)的對象記憶。各種符號處理器用來處理來自對象記憶、行間記憶、動(dòng)作歷史中符號信息，用于規(guī)則約束、推理等，而這些符號處理器的部分結(jié)果將會(huì)重新作為神經(jīng)網(wǎng)絡(luò)控制器的輸入。
圖 3. 閱讀器的構(gòu)成及信息流
OONP 解析器中基于神經(jīng)網(wǎng)絡(luò)的閱讀器按照文本順序讀文檔，同時(shí)不斷豐富本體結(jié)構(gòu)來增進(jìn)對文檔的理解。對于某個(gè)待解析的文檔，OONP 首先將預(yù)處理之后的文檔放入行間記憶模塊，閱讀器順序讀取行間記憶中符號表示和連續(xù)表示，結(jié)合攜帶記憶，產(chǎn)生各種操作來增加和豐富本體圖，更新攜帶記憶模塊。這些操作包含可微分操作(作用于對象記憶的連續(xù)部分和矩陣記憶)和離散操作(作用于對象記憶和行間記憶的符號部分)。這些連續(xù)和離散操作互相依賴，構(gòu)成了彼此的輸入，共同形成了圖 3 中復(fù)雜而靈活的信息流。
下面我們著重講解一下 OONP 的離散操作。閱讀器的策略網(wǎng)絡(luò)輸出的離散操作序列是形成本體結(jié)構(gòu)主要操作。該操作集合包括三類，依照順序分別是「新增-指派」，「選擇更新屬性」，和「更新內(nèi)容」。當(dāng)然，「新增-指派」操作后，也可以沒有后續(xù)操作(空操作)?！感略?指派」可轉(zhuǎn)化為多分類問題，如果提到內(nèi)容是***次出現(xiàn)，則「新增」，如果是已經(jīng)出現(xiàn)過的，只是重新提及，則「指派」。具體的決策依賴于閱讀器在創(chuàng)建的臨時(shí)對象(公式中的)與已存在對象之間的相似度。具體公式如下：
公式***行代表臨時(shí)對象和「新增」c 類的相似度，第二行表示臨時(shí)對象和 c 類第 k 個(gè)對象的相似度，第三行代表與空操作的「相似度」。圖 4 是對解析過程中的某個(gè)瞬間對上述匹配過程的形象化描述。
圖 4
圖 4.「新增-指派」操作中，臨時(shí)對象與已存在對象之間相似性衡量示意，虛線表示「新增」，實(shí)線表示「指派」
通過上述的三種操作，OONP 解析器可以對復(fù)雜的文檔進(jìn)行結(jié)構(gòu)化解析。下面的圖 5 給出了一段短文本解析的示例：OONP 解析器做通過一個(gè)動(dòng)作序列，逐步形成了包含六個(gè)對象和六條鏈接的本體結(jié)構(gòu)。
圖 5
圖 5. OONP 解析器解析文檔過程示意。假設(shè)在預(yù)處理階段，汽車的描述已經(jīng)被抽取。
作者在三個(gè)數(shù)據(jù)集上對模型的性能進(jìn)行了實(shí)驗(yàn)。以公安報(bào)案數(shù)據(jù)為例，OONP 使用了如圖 6 中列舉的 action。
圖 6. 公安報(bào)案數(shù)據(jù)中使用的 action
圖 7 比較了 OONP 的不同實(shí)現(xiàn)：論文衡量模型性能用了四個(gè)指標(biāo)，Assign Acc 表示預(yù)測對象「新增和指派」的正確率，Type Acc 表示預(yù)測對象屬性的正確率，Ont Acc 表示單個(gè)樣本解析的本體結(jié)構(gòu)和標(biāo)簽 100% 重合的正確率，Ont Acc-95 表示單個(gè)樣本解析的本體結(jié)構(gòu)和標(biāo)簽 95% 重合的正確率。簡單的 OONP 模型較以 Bi-LSTM 為基準(zhǔn)模型有很大提升，具有豐富結(jié)構(gòu)信息的 OONP(structured)則又有明顯提升。而在 OONP(structured)的基礎(chǔ)上，用強(qiáng)化學(xué)習(xí)來決定分類時(shí)機(jī)的模型 OONP(RL)則又進(jìn)一步提高了效果。
圖 7. 多個(gè) OONP 模型的比較
作為總結(jié)，OONP 解析框架具有如下特點(diǎn)：
- OONP 框架的中間狀態(tài)包含一個(gè)離散的對象本體圖結(jié)構(gòu)，該圖結(jié)構(gòu)被決策過程的操作序列創(chuàng)建和更新，并在解析的結(jié)尾作為對最終的文本語義表示。
- OONP 框架將解析過程轉(zhuǎn)化為決策序列：按照文本閱讀順序做出各種離散動(dòng)作，形成能夠表征已讀文本的本體圖，模仿了人理解文本的認(rèn)知過程。
- OONP 框架提供了神經(jīng)符號主義的一個(gè)實(shí)例：在 OONP 框架內(nèi)，連續(xù)信號、表示、操作和離散信號、表示、操作緊密結(jié)合，形成信息閉環(huán)。這使得 OONP 可以靈活地將各種先驗(yàn)知識用不同形式加入到行間記憶和策略網(wǎng)絡(luò)中。
- OONP 框架利用監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)以及二者的各種混合態(tài)，以適應(yīng)不同強(qiáng)度和形式的監(jiān)督信號以訓(xùn)練參數(shù)
【本文是專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)文章，微信公眾號“機(jī)器之心( id: almosthuman2014)”】
文章名稱：文檔解析框架：面向?qū)ο蟮纳窠?jīng)規(guī)劃
標(biāo)題來源：http://www.dlmjj.cn/article/dhcpeph.html
