天然說話處置，又稱 NLP（Natural language processing），是今朝和將來 AI 范疇最主要的基本技巧之一，重要是在機械進修的基本上聯(lián)合說話學和統(tǒng)計學在主動化辦事中對說話停止建模。說的直白一點，NLP 就是關于人和機械若何相互懂得、機械若何更懂人類的癥結。
作為今朝 AI 最重要的兩個分支范疇，NLP（天然說話處置）和 Computer Vision（盤算機視覺）分離代表了人類測驗考試讓機械懂得世界的兩個緯度，也是今朝人工智能范疇成長最快的兩個分支。隨同國際外各家智能音箱和語音助手的涌現(xiàn)，NLP 一時光成了浩瀚科技巨子正面比武的 AI 主疆場。
天然說話處置究竟若何一路走來、終究又將會讓機械和人之間的關系走向哪？作為在 NLP 范疇投資最多的公司，Google 也許是最有談話權的。
清除說話妨礙，Google NLP 的第一個義務
在 Google 的概念中，說話不該該是人類溝通的妨礙，更不該該是應用收集的障礙。
Google 研討項目總監(jiān) Linne Ha 告知極客公園，Google 的任務在于匯總全球的信息并使其可以或許被廣泛獲得和應用，而廢除說話妨礙就成了個中的癥結。清除說話形成的隔膜，這些年來一直是 Google NLP 團隊的重要義務之一。這類清除其實不止逗留在翻譯層面，說話處置（文天職析、生成、對話等）、音頻處置、手寫辨認等都是 Google 正在著眼處理的成績。
今朝世界上有 6000 種說話，這個中跨越 100 萬人應用的說話就有 400 種，還有許多小眾的方言。但如今的互聯(lián)網主導說話仍然是英語，全球年夜約 50% 的收集內容都是英文的。讓全球的人都能成為互聯(lián)網的受害者，不被說話的差別所障礙，這恰是 Google Bringing Everyone online 籌劃的巨大假想。
「同一碼」和「不要豆腐」字體，它們是 Google 完成這件事的第一步。
Unicode（同一碼）是盤算機的尺度字符編碼，它為每種說話中的每一個字符設定了同一而且獨一的二進制編碼，以知足跨說話、跨平臺停止文本轉換、處置的請求，谷歌一種都在勉勵更多的國度和地域廢棄應用非 Unicode 的字體。
除此以外，許多時刻當電腦和手機等裝備在對文本停止襯著，假如裝備上沒有響應的字體，就會涌現(xiàn)空白方塊字符，這些方塊看起來就像豆腐一樣。針對這類情形，Google 開辟了一款叫做 Noto 的字體（Noto 就是 No Tofu 的縮寫），它簡直兼容一切說話，而且供給同一的作風，以此來清除文字在分歧裝備上襯著涌現(xiàn)的空白方塊（Tofu）。
（圖片起源：techtolead）
當出現(xiàn)方法的妨礙清除以后，信息的輸出就成了下一個須要處理的成績。而機械進修的參與，開端讓人與機械之間的信息交互方法產生了變更。
手寫和語音是谷歌在鍵盤以外付與機械的信息吸收方法，這個在通俗用戶看起來天真爛漫的演進，面前實際上是一個不小的工程。
不論是手寫照樣語音，配合存在的一個成績是個別差別。許多時刻，就算是統(tǒng)一種文字、統(tǒng)一種說話，也會由于分歧的人而帶上分歧的口音和分歧的字跡。面臨這個成績，Google NLP 搜集了年夜量書寫樣本和語音樣本，并應用機械進修從這些樣本中進修去識別字跡和口音。
早在十年之前 Google 就有了語音搜刮的假想，而且在 2007 年 Google 想出了經由過程供給 GOOG-411（Google Voice Local Search） 的辦事來搜集數(shù)據(jù)。這個全主動的語音辨認搜刮辦事很受迎接，也很快贊助 Google 依據(jù)這些訊問的語音樹立了一個年夜型數(shù)據(jù)庫。經由這些高質量的語音搜刮數(shù)據(jù)練習，一年以后，語音搜刮就足以在智妙手機上啟動了。
以后 Google 又經由過程活著界各地的年夜量收集，擴大了 50 種其他說話的語音搜刮才能，讓全球數(shù)百萬人可以以更低的門坎應用上互聯(lián)網。
神經收集，NLP 的躍遷籌馬
DNN（深度神經收集）的參加，讓 Google 的語音交互技巧上升到了一個全新的高度。
2012 年 Google 正式開端應用深度神經收集，這項技巧在一開端就讓語音辨認才能進步了約 25％，且以后 Google 賡續(xù)在優(yōu)化算法，讓這類辨認率的晉升后果一直堅持著微弱的增加。同時，機械進修的才能晉升也讓 Google NLP 的才能有了年夜幅度的晉升，可以或許更好的懂得人類的句子。
今朝，Google 經由過程這些技巧供給了 30 多種說話的語音輸出支撐，涵蓋跨越十億人。個中個一典范的應用場景就是的 Gboard 輸出法和 Google 語音搜刮，這些 App 供給了 119 種說話的支撐，包含 11 種印度語，3 種印度尼西亞語，乃至包括了 2 種非洲最主要的說話——斯瓦希里語和阿姆哈拉語。
Google 的團隊從多年的數(shù)據(jù)搜集中得出了一套高效低本錢的計劃，經由過程和統(tǒng)一處所的人用多說話停止溝通，用更少的數(shù)據(jù)樹立了更好的說話模子。
在處理了根本的溝通成績以后，Google NLP 也開端在更多范疇釋放本身價值，個中最典范的兩個場景就是翻譯和 AI 語音助手。
谷歌在 2016 年 9 月正式推出了整合神經收集的翻譯對象——GNMT（Google Neural Machine Translation）谷歌神經機械翻譯體系，這一翻譯技巧的應用恰是 Google 在 NLP 范疇技巧演進的一次直不雅表現(xiàn)。這類將全部句子視作翻譯單位的方法，對句子中的每部門停止帶有邏輯的聯(lián)系關系翻譯，翻譯每個字或單詞時都包括著整句話的邏輯。
在專訪中 Linne Ha 也告知極客公園，NMT 關于 SMT 更多是一種互補的關系，并沒有相對的好壞之分，他們各安閑分歧的情形下有著各自的優(yōu)勢。NMT 的涌現(xiàn)填補了之前 SMT 才能沒法籠罩的長句翻譯和龐雜邏輯翻譯等成績。
智能語音助手 Google Assistant 則是 Google NLP 技巧今朝最焦點主要的應用。早在 2012 年的安卓 4.1 和 Nexus 手機上谷歌的智能語音助手就以 Google Now 的情勢和用戶見過面了。
其時的 Google Now 恰是應用 NLP 技巧完成與用戶交互，爾后經由過程 Web 辦事來停止問答、供給建議、完成辦事等舉措。而從 2016 年開端，具有更壯大 NLP 處置才能的 Google Assistant 就開端慢慢代替 Google Now，贊助用戶在手機上完成更龐雜的語音交互指令。
Google NLP 技巧程度直接影響著 Google Assistant 的才能規(guī)模，所以當 NLP 技巧經由過程機械進修在歷久的語音輸出、語音搜刮練習和積聚后，逐步可以或許控制對話才能，而不再只是純真的簡略指令處置才能。
這時候的 Google Assistant 也開端變得愈來愈萬能，它可以或許從對話中進修積聚對天然說話的語意、邏輯的懂得才能，其實不斷優(yōu)化。
NLP 的機會和挑釁
NLP 也許不會有一個確實的止境，由于天然說話一直都在演化，而天然說話處置技巧須要賡續(xù)去順應這類變更。
固然今朝的 NLP 技巧不管是在算法照樣數(shù)據(jù)構造上都還沒有到達極限，但限制它的能夠其實不是只是算法和數(shù)據(jù)，而是沒法猜測的說話習氣的變遷，和賡續(xù)涌現(xiàn)的新辭匯，和舊辭匯的新用法。在專訪中 Linne Ha 也告知極客公園，今朝的 NLP 最年夜的挑釁在于若何應用應用算法，更快的從無限數(shù)據(jù)中進修和順應說話習氣的新變更，并實時做出調劑。
異樣的，機械翻譯也毫不會完整代替人類，由于除說話靜態(tài)變更的影響，數(shù)據(jù)量和算法異樣是須要處理的成績。今朝可以或許被應用的數(shù)據(jù)的范圍相較于全部人類文明的說話貯備來講其實太小，即便是 Google 也照舊面對雷同的成績；同時，即便有朝一日真的具有了全部人類文明的說話常識庫，現(xiàn)有的算法和盤算才能也難以完成如斯宏大的數(shù)據(jù)練習。
所以，未來 NLP 能夠其實不必定可以或許想一個真實的人一樣和我們停止對話，終究它也許更能夠飾演一種高等幫助的腳色，成為我們說話系統(tǒng)的一部門。
不外，NLP 在將來卻有能夠也會對人類的說話習氣發(fā)生一些影響，好比多說話的應用習氣，一小我能夠會具有正式和非正式兩種說話習氣。
而當極客公園問到現(xiàn)在的新興創(chuàng)業(yè)公司在 NLP 范疇還有哪些機遇時，Linne 絕不遲疑的說出了「Assistant」，在她看來，如今語音智能助手的市場有太多太多未被彌補的空白場景。
另外一個機遇則隱蔽在像廣東話如許的特別說話中，這些說話中存在許多沒法被轉化為書面文字的行動語，這類行動語關于須要先將語音轉化為文字，從而進修并懂得的 NLP 技巧來講是一個亟待處理的癥結成績。所以，NLP 將來的機遇極可能就隱蔽在「beyond text」（超出文本）的說話進修技巧上。
整體而言，說話是使互聯(lián)網更具包涵性的癥結地點。而說話關于下一個無所不在的盤算時期是相當主要，為了讓我們真正處于將來時期的數(shù)據(jù)情況中，我們須要可以或許天然地與盤算機攀談，讓盤算機懂得我們。而這不該該只是應用英語的多數(shù)人的特權，而是一切人都應當享有的人工智能時期的福利。
而讓機械更好的做到這一點，恰是 Google NLP 的目的和任務。
