科技評論網站日前揭橥文章，引見了深度進修的成長趨向及其局限。固然深度進修曾經是以后的一股高潮，也獲得了很多結果，但業界人士指出，今朝的深度進修就像是“物理學涌現之前的工程學”。以下為原文摘要：
人工智能（AI）范疇的每個提高，都有賴于30年前的一個沖破。要堅持AI提高的節拍，就須要沖破這個范疇的一些嚴重局限。
AI范疇的愛因斯坦
矢量研討所（Vector Institute）位于加拿年夜多倫多的市中間，將于本年秋季停業，它旨在成為全球AI中間舞臺。美國和加拿年夜公司（好比谷歌（微博）、Uber和Nvidia）將在這個研討所資助貿易化AI技巧的盡力。
資金的涌入比該中間的結合開創人喬丹o雅各布斯（Jordan Jacobs）假想的更快。該中間別的兩位結合開創人對多倫多地域的公司停止了查詢拜訪，發明該地域對AI專家的需求，是加拿年夜每一年造就的專家人數的10倍。全球正在鼓起一股深度進修的高潮，而這個研討所愿望站在這股潮水中間——聚焦于這類技巧，教授它，改良它，而且運用它。數據中間正在扶植中，始創公司接踵而至，先生們正在入場。
而“深度進修之父”喬弗里o辛頓（Geoffrey Hinton）也住在多倫多。雅各布斯說：“再過30年，我們回頭來看，就會說辛頓是AI和深度進修范疇的愛因斯坦。”
辛頓的門生們在蘋果、Facebook和OpenAI主管AI試驗室，辛頓本身是谷歌年夜腦（Google Brain） AI團隊的首席迷信家。現實上，AI的比來十年來的簡直每個造詣——翻譯、語音辨認、圖象辨認和游戲弄法都和辛頓奠基的基本分不開。
深刻進修的重要理念其其實30年前就曾經提出。辛頓與同事戴維o羅姆哈特（David Rumelhart）、羅蘭德o威廉姆斯（Ronald Williams）在1986年揭橥了一篇沖破性的文章，具體論述了一種稱為 “反向流傳”的技巧。用普林斯頓年夜學的盤算心思學家喬o科恩（Jon Cohen）的話來講，這類技巧是“一切深度進修的基本”。
這篇1980年月中期的文章引見了若何練習多條理神經收集。它為近十年來AI范疇的成長提高奠基了基本。
深度進修就是反向流傳
現在從某種角度上說，AI就是深度進修，而深度進修就是反向流傳。你能夠覺得弗成思議，一個技巧怎樣冬眠了這么長時光，然后忽然涌現了迸發式的突起。一個不雅點是：或許我們如今其實不是處在一場反動的開端階段，而是在進入它的序幕。
辛頓來自英國，曾在匹茲堡的卡內基梅隆年夜學任務，1980年月搬到了多倫多。他愛好這座城市的氣氛。
辛頓說，他比來在一個項目上獲得了嚴重沖破，“找到了一個異常好的低級工程師，跟我一路任務，”這個女工程師名叫薩拉o薩福，是伊朗人，她在美國請求任務簽證被謝絕了。 谷歌在多倫多的辦公室接收了她。
在1980年月，辛頓曾經是神經收集專家。神經收集是一個年夜年夜簡化的年夜腦神經元和突觸收集模子。固然最早的神經收集“感知器”（Perceptron）在1950年月就開端開辟，也被譽為邁向人機靈能的第一步，然則到了80年月，業界果斷地以為神經收集是AI研討的逝世胡同。
1969年，麻省理工學院的Marvin Minsky和Seymour Papert在一本名為《感知器》的書中，用數學證實了如許的收集只能履行最根本的功效。這類收集只要兩層神經元，一個輸出層和一個輸入層。假如一個收集在輸出和輸入神經元之間有更多的層，那末它在實際上可以處理許多分歧的成績，只是沒有人曉得若何練習它們，所以在理論中，這些神經收集是沒用的。除辛頓等寥寥幾小我以外，《感知器》使得年夜多半人都完整廢棄了神經收集。
1986年，辛頓獲得沖破，顯示反向流傳可以練習一個深層神經收集（跨越兩三層的神經收集）。然則又花了26年時光，盤算才能才成長到了可以好好應用這個沖破的水平。辛頓和他的兩個先生的2012年揭橥論文，顯示反向流傳練習的深層神經收集在圖象辨認中擊敗了最早進的體系。 “深度進修”從此成為一股高潮。在外界看來，AI仿佛是在一夜之間蓬勃成長起來的。但關于辛頓來講，這倒是一個遲來的迸發。
神經收集的道理
神經收集平日被描寫成一個多層三明治，層層疊疊。這些層里包括著天然神經元，指的是渺小的盤算單元，它可以遭到激起 （就像真實的神經元會被激起那樣），然后將高興度傳遞給它所銜接的其他神經元。神經元的高興度由數字來代表，好比0.13或32.39。別的，在每兩個神經元之間的銜接上，還有一個癥結數字，決議了若干高興度可以從一個神經元傳遞到另外一個。這個數字是在模仿年夜腦神經元之間突觸的給力水平。當這個數字比擬高時，就意味著兩個神經元之間的銜接更強，可以把更多的高興度傳遞給對方。
深層神經收集最勝利的運用之一就是在圖象辨認中，該團隊開辟了一個法式，可以斷定圖片中能否有熱狗。在十年前，如許的法式是弗成能完成的。開辟這類法式的第一步是找到一張照片。為了簡略起見，你可使用一張詬誶圖象，100像素寬，100像素高。你把這張圖象輸出到神經收集——也就是給輸出層中每一個模仿神經元設置高興度，使之和每一個像素的亮度吻合。這個多層三明治的底層就是10000個神經元（100x100），代表圖象中每一個像素的亮度。
然后，你將這一層神經元銜接到下面的另外一層神經元層（有幾千個神經元），再持續連一層神經元層（也有幾千個神經元），如斯這般。最初，在這個三明治的最下層是輸入層，它只要兩個神經元 ， 一個代表“有熱狗”，另外一個代表“沒有熱狗”。其理念就是讓神經收集學會只要當圖片里有熱狗的時刻，才會激起“有熱狗”的神經元，只要在圖片里沒有熱狗的時刻，才會激起“沒有熱狗”的神經元。反向流傳就是做到這一點的辦法。
若何應用反向流傳技巧
反向流傳自己異常簡略，雖然它在有年夜量數據可用的情形下后果最好。這就是為何年夜數據在AI中如斯主要的緣由——和為何Facebook和谷歌如斯盼望數據的緣由。
在練習神經收集的時刻，你須要應用數以百萬計的圖片，一些有熱狗，一些沒有。而竅門就是那些有熱狗的圖片被標志為有熱狗。在一個初始神經收集中，神經元之間的銜接權重（表現每一個銜接傳遞的高興度的若干）能夠是隨機數，就似乎是年夜腦的突觸還沒有調劑好。 反向流傳的目的是轉變這些權重，讓神經收集可以取得很好的后果：當你將熱狗的圖片輸出到最低層時，最頂層的“有熱狗”神經元終究會變得高興起來。
假定你拔取的第一幅練習圖片里是一架鋼琴。你將這個100x100圖象中的像素強度轉換為10000個數字，正好分給收集底層中的10000個神經元。然后高興度依據相鄰神經元層之間的銜接權重在這個收集上過濾，達到最初一層斷定圖片中能否有熱狗的兩個神經元。因為圖片是鋼琴，在幻想情形下，“有熱狗”神經元應當得出一個0，而“沒有熱狗”神經元應當得出很高的數字。然則我們假定這個神經收集后果欠好，對這張照片得出了毛病結論。這時候你就應用反向流傳技巧，來從新調劑收集中每一個銜接的權重，以便修改毛病。
它的任務道理是從最初兩個神經元開端，弄清晰它們錯很多兇猛：高興度的數字應當是若干，現實上是若干，差異有多年夜？當如許做的時刻，你要檢討達到這些神經元（和下一層的那些神經元）的每一個銜接是甚么，并弄清晰它們對毛病的進獻有多年夜。你一向如許剖析直到第一層，也就是收集的最底層。這時候候，你就曉得每一個零丁的銜接對全部毛病的進獻是若干了，最初，你可以依照在最年夜水平上削減全體毛病的年夜偏向來修正每一個權重。這個技巧被稱為“反向流傳”，由于你是從輸入開端，反偏向對毛病停止剖析的。
神經收集的奇異和愚昧
奧妙的是，當你有成百上萬萬，乃至數以十億計的圖象，再依照這個方法操作的時刻，神經收集就會變得異常善于于辨認圖象中能否有熱狗。更奧妙的是，圖象辨認收集中的各個層開端可以或許用和人類視覺體系雷同的方法來“檢查”圖象。也就是說，第一層能夠會檢測邊沿——當有邊沿時，它的神經元就被激起，當沒有邊沿時，則不會激起；下面一層能夠會檢測到一組邊沿，好比檢測出一個角；然后再下面的層便可能開端看到外形；再下面的層能夠會開端辨認出“開了口的面包”或“沒啟齒的面包”如許的器械。換句話說，法式員不須要自動地這么編程，這個神經收集就會本身構成一個品級化的條理。
須要記得的是：雖然這些“深度進修”體系有時刻看起來很聰慧，但它們依然很愚昧。假如有一張圖片顯示一堆甜甜圈放在桌子上，而法式可以主動地將其標示為“堆在桌子上的一堆甜甜圈”的時刻，你能夠認為這個法式很聰慧。然則當統一個法式看到一個女孩刷牙的照片，會將其標識為“男孩拿著棒球棒”，這時候你就會發明，它對世界缺少懂得。
神經收集只是有意識的隱約形式辨認器，你可以將它們集成到簡直一切類型的軟件中。然則 它們包含的智能很無限，并且輕易被誘騙。假如你更改單個像素，一個辨認圖象的深層神經收集能夠就會完整傻失落。我們在發明深度進修的更多應用辦法的同時，也在頻仍發明它的局限性。主動駕駛的汽車能夠沒法應對之前從未見過的路況。機械也沒法解析須要應用知識能力懂得的句子。
從某種水平上說，深度進修模擬了人類年夜腦中產生的工作，但模擬的水平異常淺易 —— 這或許說明了為何它的智力有時看起來很無限。現實上，反向流傳其實不是經由過程深刻摸索年夜腦，解讀思惟自己來解密思惟的。它的基本現實上是前提反射試驗中植物若何應用試錯法的進修形式。它的許多偉大奔騰并沒有歸入神經迷信的一些新洞見，而是多年來在數學上和工程上積聚的技巧改良。我們對智能的懂得，絕對于我們尚不懂得的部門來講，只是九牛一毫。
“物理學涌現之前的工程學”
多倫多年夜學的助理傳授戴維o杜文多（David Duvenaud）說，今朝深度進修就像是“物理學涌現之前的工程學”。 他是這么說明的：“有人寫了一篇文章，說‘我造好了這座橋！’另外一小我發了論文：‘我造了這座橋，它倒下了——然后我添加了支柱，它就立起來了。’因而柱子就成了年夜熱點。有人想到了應用橋拱，‘橋拱很棒！’然則直到有了物理學以后，你才明確怎樣造橋能不倒，為何。”他說，直到比來，人工智能界才開端走入這個現實懂得它的階段。
辛頓以為，戰勝AI的局限性是樹立“盤算機迷信與生物學之間的橋梁”。在這類不雅點下，反向流傳是一種“生物啟示的盤算”的成功。它的靈感不是來自工程學，而是心思學。如今，辛頓正摸索一個新的辦法。
如今的神經收集是由偉大的立體層構成的，然則在人類新皮層中，真實的神經元不只僅是程度組成條理，并且也是垂直分列成柱狀的。 辛頓以為，他曉得這些柱狀有甚么用——好比即便我們的視角轉變，也能辨認出對象——所以他正在構建相似的“膠囊” ，來測試這個實際。到今朝為止，膠囊還沒有年夜年夜進步神經收集的表示。然則，他30年條件出的反向流傳也是直到不久前才顯示出驚人后果的。
“它不見效能夠只是臨時的。” 他在談到膠囊實際時說。
