本月 18 日，由美中技巧與立異協會（Association of Technology and Innovation，ATI）主辦的第一屆“AI NEXT”年夜會在西雅圖召開。本次會議的重要佳賓包含：微軟首席 AI 迷信家鄧力，微軟院士黃學東，Uber 深度進修擔任人 Luming Wang 等。華人以外，還有亞馬遜 Alexa 首席迷信家 Nikko Strom，微軟小娜架構師 Savas Parastatidis 等業內著名專家。

　　年夜會主題是“摸索 AI 的潛力，把 AI 技巧運用于適用項目和辦事”，對 CV、NLP、智能助手、深度進修框架均做了專題申報。個中，鄧力博士以”對話體系：汗青成長與近況“為題，向預會者作了 ppt 演講申報。

　　鄧力在 AI NEXT 演講現場

　　注：鄧先生原為加拿年夜滑鐵盧年夜學傳授，1999 年參加微軟，2016 年起擔負微軟首席人工智能迷信家，擔任微軟深度進修技巧中間運用趨勢的深度進修研討。

　　鄧力：很愉快可以或許來這里，與年夜家分享我的一些研討——關于該范疇，我小我將其稱之為”聊天機械人技巧“（Bot Technology），有時也被叫做對話體系（Dialogue System），與人機交換（Human-Machine Communication）慎密相干。對該范疇的研討，曾經有相當長的汗青。借此次機遇，我想要與年夜家分享該技巧的汗青成長，和一些時新論文研討中的前沿技巧沖破。

　　當我們談起對話體系、對話署理（Conversational Agent）、對話式交互界面（Conversational UI）或許聊天機械人，它們其實附屬于統一類技巧，是完成人機交互（HCI）的一種方法。明天我重要想講講，在曩昔的二三十年間，這類技巧是若何成長的。就似乎關于神經收集專家，明天所風行的深度進修和各類 AI 技巧，其本源都要追溯到二三十年前。曩昔很多有價值的研討，都被如今的年青人疏忽了。我愿望年夜家可以或許回頭看看這些技巧的演進過程——明天的技巧都不是孤立存在的，也不是科研人員用一兩年時光一會兒研討出來的。

　　我先從對該技巧的簡略引見開端。

　　起首，這類技巧可被分為兩類：基于文字（Text-based）和基于語音（Speech-based）。年夜家將會從下一名演講者 Nikko（亞馬遜 Alexa 首席迷信家 Nikko Strom，本次年夜會上他的演講主題為 “Alexa是如何煉成的”）那邊，聽到更多關于”基于語音“的器械，是以我會重點講”基于文字“和它們之間的差別。

　　有一種視角把白話對話體系看做是兩類體系的代替（基于語音→基于文字）：先是語音辨認，然后，語音辨認的成果釀成連續串的文字，這就成了基于文字的體系。這是傳統的不雅點。

　　但如今看來，這兩種體系可以很好的整合到一路，不再是兩條分別的流水線（Pipeline）。如許可以對端到端（End-to-End）的機能停止優化。這方面有些不錯的學術出書物。

　　所以，我寫的“對話體系= | ≠語音辨認+基于文字的對話體系”的意思是：白話對話體系既可被看做是兩種體系的代替，也可不這么看。傳統的不雅點非常簡練，可以有兩個分歧的開辟者社群來停止技巧開辟：一個是語音辨認，一個是用基于文字的體系辨認毛病，由于語音辨認會發生毛病。

　　在這里，我想指出三點：

　　設計對話體系有兩種分歧方法：整合進修（Integrated learning）vs. Simply pipelined；

　　關于基于語音的體系，它包括額定的信息：我們稱之為 Para-linguistic cues，這在文字中是缺掉的。若能充足應用 Para-linguistic cues，好比措辭者的情感、肢體說話，基于語音的體系會遠遠壯大于基于文字的體系。固然，后者也有一些表達情感的方法，好比 emoji 的應用，但和 Para-linguistic cues 比擬依然是分歧的器械。這是基于語音和基于文字體系的一項重要差別。

　　別的，取決分歧的用戶，語音輸出能夠會比文字輸出更簡略——或許更龐雜。對我小我而言，因為對語音技巧比擬懂得，在樂音不高的情形下，我偏向于應用語音來于小娜對話。但關于年夜多半人而言，他們偏向于應用基于文字的對話，由于他們不曉得語音辨認在甚么情形下后果好，甚么情形下后果欠好。差別于分歧用戶，會有分歧的人機對話行動，這是體系設計中須要斟酌的、很主要的一點。

　　另外一個主要差別是：窄范疇 vs 寬范疇（narrow domain vs wide domain）。今朝來說，基于文字的體系普通被看做是寬范疇，語音是窄范疇。但這是因為今朝技巧所限，跟著語音辨認技巧成熟，情形很快便可能產生變更，特別鑒于深度進修對語音辨認的改良。明天的研討人員，曾經可以著手思慮怎樣讓基于語音的體系更寬更 open。

　　接上去，我會講講白話對話體系的三代成長。

　　白話對話體系的三代成長

　　近幾年，我們閱歷了一輪又一輪"關于 AI 技巧的高興期。但實際是，相干技巧的基本在 1980 年月末、1990 年月初就曾經開辟出來了。我會對這些技巧若何從第一代成長到最新一代作個歸納綜合。

　　第一代：基于符號規矩、模板

　　微軟首席 AI 迷信家鄧力：對話體系的分類與成長過程 | AI NEXT

　　起首，第一代技巧從 1980 年月末開啟，在風行度下面，幾年前這一波技巧便可以說是停止了，固然你可以或許發明一些商用體系和 bot 始創企業還在應用它們。這代技巧依附于專家人工制訂的語律例則和本體設計（ontological design）。這些規矩很輕易說明、懂得，比擬通明，這就是這代技巧為何能催生出一系列的勝利貿易運用的緣由。修補破綻很輕易，體系更新也很輕易。

　　它的局限性：

　　依附于專家。假如沒有理解編寫這類運用的專家，開辟會極端艱苦。

　　跨范疇的擴大性缺乏

　　數據用來設計規矩，而不是進修

　　晚期有相當多的高校、當局機關、貿易公司研發這類體系。它們可分為語音辨認和說話懂得體系。它們全都由符號規矩構成，須要支付極年夜的盡力來開辟。

　　因為這些局限，第一代技巧只能運用于極狹小的范疇，而這或許是一件功德。有一個異常好的、關于這類技巧的論文，它的研討對象是伯克利的餐廳。獲知，通俗餐廳反而是不可的，由于須要寫的規矩太多。

　　第二代：數據驅動、淺層進修

　　微軟首席 AI 迷信家鄧力：對話體系的分類與成長過程 | AI NEXT

　　第二代技巧是數據驅動型的。

　　從業者不肯意把這代技巧稱之為淺層進修（shallow learning），但現實如斯，它們是傳統的淺層進修辦法。對了，用于對話規矩（dialogue policy）的強化進修就是這時候候研討出來的（1990 年月）。明天我們看到的強化進修熱潮，在那時就打下了基本。現在深度進修的提高進一步起到了贊助。

　　這類基于淺層進修的數據驅動方法，不輕易懂得和修補破綻，但確切有進修才能。

　　這篇論文（“POMDP-based statistical spoken dialogue systems：a review”）對第二代技巧做了全體歸結，它揭橥的時光是 4 年前（2013），恰好在深度進修退場之前。這篇論文是劍橋年夜學的結果，他們做了許多盡力來把該體系貿易化。

　　第三代：數據驅動的深度進修

　　微軟首席 AI 迷信家鄧力：對話體系的分類與成長過程 | AI NEXT

　　第三代技巧用深度進修代替了淺層進修的部門。和第二代技巧一樣，數據被用來進修對話體系中的一切器械。第三代的神經模子和表現遠遠比前兩代要壯大，端到真個進修也變得可行。從兩年前開端，它吸引了全球規模內偉大的研討興致。但它也有很多局限性：

　　說明、修補破綻、更新體系依然不輕易。

　　在神經收集進修和符號天然說話之間缺少交互界面

　　跨范疇的擴大，但相當多的研討在想方法應用深度遷徙進修和強化進修來完成

　　還沒有明白的貿易勝利案例。

　　這三代技巧有各自的強項，若何把這些長處整合起來，是一項重要的挑釁。許多研討聚焦于此。

　　研討前沿

　　這里我列出了三項前沿研討范疇：

　　基于語音 vs 基于文字

　　針對對話的深度強化進修

　　符號-神經之間的整合