3月28日，地平線機(jī)械人技巧公司開創(chuàng)人余凱博士、亞馬遜AWS機(jī)械進(jìn)修總監(jiān)Alex Smola、亞馬遜AWS處理計(jì)劃架構(gòu)師鄧明軒和地平線機(jī)械人技巧公司算法副總裁黃暢，在地平線和雷鋒網(wǎng)結(jié)合主辦的“年夜牛課堂”上做了出色分享。個(gè)中Alex Smola做了“應(yīng)用MXNet完成疾速、可擴(kuò)大、定制化深度進(jìn)修”的主題演講，依據(jù)現(xiàn)場灌音和PPT做了不轉(zhuǎn)變原意編譯。

　　Alex Smola于1996年卒業(yè)于慕尼黑工業(yè)年夜學(xué)，獲物理學(xué)碩士學(xué)位，1998年在柏林工業(yè)年夜學(xué)獲得盤算機(jī)迷信博士學(xué)位。以后，他在澳年夜利亞國立年夜學(xué)擔(dān)負(fù)研討院和研討小組組長。2004-2008年，Alex Smola在NICTA研討中間統(tǒng)計(jì)機(jī)械進(jìn)修項(xiàng)目擔(dān)負(fù)項(xiàng)目擔(dān)任人，2008-2012年在雅虎的從事研討任務(wù)，2012-2014參加谷歌從事研討任務(wù)，2013年參加卡內(nèi)基·梅隆年夜學(xué)擔(dān)負(fù)傳授，2015年，他創(chuàng)建了Marianas試驗(yàn)室，2016年，Alex參加亞馬遜，今朝擔(dān)負(fù)亞馬遜AWS的機(jī)械進(jìn)修總監(jiān)。迄今為止，Alex共揭橥跨越200篇論文并介入編寫多本學(xué)術(shù)專著。

　　1. 深度進(jìn)修讓一切變得更輕易

　　演講一開端，Alex就提出了一個(gè)成績，“為何我們?nèi)缃褚錾疃冗M(jìn)修？”在他看來，最重要的緣由有兩點(diǎn)：海量的數(shù)據(jù)和盤算才能的年夜幅晉升。現(xiàn)在，數(shù)據(jù)曾經(jīng)可以很輕易獲得，而盤算才能的晉升則是因?yàn)镚PU在深度進(jìn)修范疇的運(yùn)用。

　　從游戲“FizzBuzz”說起

　　接著，Alex羅列了一個(gè)例子——FizzBuzz，這是一種用來教誨小先生除法的游戲：從1數(shù)到100，假如碰見了3的倍數(shù)要說Fizz，5的倍數(shù)到說Buzz，假如等于3的倍數(shù)又是5的倍數(shù)要說FizzBuzz。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　假如要經(jīng)由過程編程辦法來完成，那末須要師長教師成練習(xí)數(shù)據(jù)，然后提取輸出數(shù)據(jù)的特點(diǎn)，然后再練習(xí)一個(gè)分類器，讓輸出可以或許映照出響應(yīng)的輸入，這一切看起來仿佛異常愚昧。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　然則Alex以為，假如你有了“真實(shí)的數(shù)據(jù)”，這實(shí)際上是長短常有效的。好比訓(xùn)經(jīng)由過程一臺小型攝像機(jī)來辨認(rèn)貓和狗，這個(gè)進(jìn)程異常龐雜，并且沒法像之前一樣寫出代碼，然則卻有許多樣本數(shù)據(jù)可供應(yīng)用，可以用來練習(xí)estimator（剖斷器），然后可以基于這些數(shù)據(jù)搭建一個(gè)模子。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　而經(jīng)由過程MXNet，你所須要做的僅僅只要界說輸出數(shù)據(jù)，挪用MXNet的“fully connected layer”，最初取得Softmax輸入。而MXNet會替你做好數(shù)據(jù)迭代、加載劇本、和練習(xí)輪回。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　不外，當(dāng)只要一層感知器（perecptron）的時(shí)刻，還比擬輕易練習(xí)，然則有多層感知器的的時(shí)刻，練習(xí)會變得好不容易。這將觸及到對每層的表達(dá)，和進(jìn)程中的對象變換，并且還會用到鏈?zhǔn)杰墑t（chain rule，微積分中的求導(dǎo)軌則，用于求一個(gè)復(fù)合函數(shù)的導(dǎo)數(shù)），但是MXNet可以主動完成這些進(jìn)程。

　　從游戲“Where's Waldo?”說起

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　那末要如何做詳細(xì)的圖象辨認(rèn)呢？這里Alex羅列了另外一個(gè)很著名的游戲——“Where's Waldo?”其實(shí)， 《Where's Waldo?》是一套由英國插畫家Martin Handford創(chuàng)作的兒童書本，這個(gè)書的目的就是讓在讀者在一張摩肩接踵的圖片中找出一個(gè)特定的人物——“Waldo”。那末要若何讓盤算機(jī)來從圖象中辨認(rèn)出“Waldo”呢？這里就須要用到卷積神經(jīng)收集。

　　CNN（卷積神經(jīng)收集）

　　甚么是卷積？卷積就是兩個(gè)函數(shù)之間的互相關(guān)系，然后得出一個(gè)新的值，他是在持續(xù)空間做積分盤算，然后在團(tuán)圓空間內(nèi)乞降的進(jìn)程。卷積運(yùn)算的目標(biāo)是提取輸出的分歧特點(diǎn)，第一層卷積層能夠只能提取一些初級的特點(diǎn)如邊沿、線條和角等層級，更多層的收集能從初級特點(diǎn)中迭代提取更龐雜的特點(diǎn)。

　　在卷積神經(jīng)收集中，除卷積層，還有一種叫池化（pooling）的操作。它現(xiàn)實(shí)上是一種情勢的向下采樣，有多種分歧情勢的非線性池化函數(shù)，而個(gè)中“最年夜池化（Max pooling）”是最為罕見的。它是將輸出的圖象劃分為若干個(gè)矩形區(qū)域，對每一個(gè)子區(qū)域輸入最年夜值。池化層會賡續(xù)地減小數(shù)據(jù)的空間年夜小，是以參數(shù)的數(shù)目和盤算量也會降低，這在必定水平上也掌握了過擬合。

　　Alex在這里羅列了兩種卷積神經(jīng)收集模子：

　　1）. LeNet

　　Le望文生義就是指人工智能范疇的年夜牛Lecun。這個(gè)收集是深度進(jìn)修收集的最后原型，由于之前的收集都比擬淺，它是較深的。

　　雷鋒網(wǎng)曾對LeNet的完成進(jìn)程做過詳解：

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　起首，輸出圖象是32×32的灰度圖，第一層經(jīng)由了一組卷積和，生成了6個(gè)28X28的feature map，然后經(jīng)由一個(gè)池化層，獲得獲得6個(gè)14X14的feature map，然后再經(jīng)由一個(gè)卷積層，生成了16個(gè)10x10的卷積層，再經(jīng)由池化層生成16個(gè)5×5的feature map。

　　從最初16個(gè)5X5的feature map開端，經(jīng)由了3個(gè)全銜接層，到達(dá)最初的輸入，輸入就是標(biāo)簽空間的輸入。因?yàn)樵O(shè)計(jì)的是只需對0到9停止辨認(rèn)，所以輸入空間是10，假如要對10個(gè)數(shù)字再加上26個(gè)年夜小字母停止辨認(rèn)的話，輸入空間就是62。62維向量里，假如某一個(gè)維度上的值最年夜，它對應(yīng)的誰人字母和數(shù)字就是就是猜測成果。

　　2）. Inception

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　谷歌的Inception v1的收集將1x1、3x3、5x5的卷積和3x3的最年夜池化堆疊在一路，并在3x3、5x5的卷積前和3x3最年夜池化后分離加上了1x1的卷積核，起到了下降特點(diǎn)圖厚度的感化，上圖就是Inception v1的收集構(gòu)造。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　Alex稱，要經(jīng)由過程Caffe來完成這一構(gòu)造須要幾千行代碼，但是要若何簡化這一進(jìn)程呢？這也就引出了一個(gè)成績：為何我們須要另外一個(gè)深度進(jìn)修對象？

　　2. 為何須要另外一個(gè)深度進(jìn)修對象？

　　今朝市情上曾經(jīng)有了TensorFlow、Caffe、Torch、Keras、CNTK、PaddlePaddle、Theano等等，那末我們?yōu)楹芜€須要MXNet呢？

　　Alex引見道，MXNet重要有3方面的優(yōu)勢：

　　效力：節(jié)儉盤算資本，資本應(yīng)用效力高；

　　速度：可以跟著機(jī)械和GPU的擴(kuò)大呈線性增加，并且在單臺機(jī)械上也有很高的效力；

　　簡略易用：同時(shí)支撐敕令式編程（imperative programming）和聲明式編程（declarative programming）。

　　依據(jù)維基百科的說明：

　　敕令式編程是一種描寫電腦所需作出的行動的編程范型，較高等的指令式編程說話應(yīng)用變量和更龐雜的語句，但仍允從雷同的范型。由于敕令式編程的基本不雅念，不只概念上比擬熟習(xí)，并且較輕易詳細(xì)表示于硬件，所以年夜部門的編程說話都是指令式的。

　　聲明式編程與敕令式編程絕對立。它描寫目的的性質(zhì)，讓電腦明確目的，而非流程。聲明式編程是告知盤算機(jī)須要盤算“甚么”而不是“若何”去盤算，而敕令式編程則須要用算法來明白的指出每步該怎樣做。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　好比，假如深度架構(gòu)的盤算圖譜須要深度優(yōu)化，則比擬合適聲明式編程；而觸及到更新和圖譜交互時(shí)，好比迭代輪回、參數(shù)更新、定向搜刮、特點(diǎn)提取等，這時(shí)候敕令式編程則更加適合。

　　Alex以為，進(jìn)步用戶的任務(wù)效力最為癥結(jié)。

　　因?yàn)槊恳粋€(gè)用戶偏好的編程說話和深度進(jìn)修的框架能夠各不雷同，是以MXNet盡力擴(kuò)大本身的兼容性。依據(jù)Alex的PPT，今朝MXNet曾經(jīng)可以或許挪用Torch，并可以無縫兼容Caffe Layer，并且將很快兼容Keras。

　　固然MXNet同時(shí)支撐敕令式編程和聲明式編程，然則并未將二者融匯貫穿。有開辟者基于MXNet，開辟了MinPy，供給numpy接口，用來處理這個(gè)成績。在應(yīng)用MinPy時(shí)，只須要簡略改寫一句import語句：import minpy.numpy as np，就可以夠開端應(yīng)用MinPy了。因?yàn)槭峭暾碾妨钍骄幊痰慕涌冢幊痰撵`巧性被年夜年夜進(jìn)步。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　Alex羅列了一個(gè)例子（如上圖所示），在TensorFlow中，假如須要打印某個(gè)變量，須要在打印語句前加上 “control_dependencies”。而在MinPy中，可以直接應(yīng)用Python的原生“print”語句。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　另外，因?yàn)镚PU采取的是高度并行的運(yùn)轉(zhuǎn)方法，這也是為什么GPU比CPU加倍合適深度進(jìn)修的緣由。但是想要寫出并行的法式則是一件異常苦楚的工作，然則MXNet則可以主動履行這一進(jìn)程：你只須要編寫串行法式，MXNet便可以主動完成并交運(yùn)行。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　固然，Alex也將MXNet與今朝最風(fēng)行的谷歌TensorFlow停止了比較。依據(jù)Alex的引見，在散布式練習(xí)的試驗(yàn)中，假如用10臺以上的機(jī)械，MXNet處置圖象樣本的速度要比TensorFlow快2倍。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　不外，Alex也提示道，要想在散布式練習(xí)的進(jìn)程中疾速到達(dá)收斂，Batch Size的選擇也很主要，其實(shí)不是越年夜越好。

　　3. AWS為深度進(jìn)修供給的各類云辦事

　　作為全球第一年夜云辦事供給商，亞馬遜也為深度進(jìn)修供給各類云辦事，Alex重要引見了Amazon Machine Images（簡稱AMI）和 CloudFormation Template。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　從字面上便可以看出，AMI主打圖象辨認(rèn)，它可以節(jié)儉數(shù)據(jù)迷信家和開辟者設(shè)置深度進(jìn)修體系的時(shí)光。除支撐亞馬遜本身的MXNet框架外，AMI還支撐TensorFlow、Caffe、Torch、Theano、Keras，用戶可使用Anaconda、Jupyter、Python 2、Python 3。

　　亞馬遜機(jī)械進(jìn)修總監(jiān)Alex Smola：TensorFlow、Caffe等曾經(jīng)存在，為什么還須要MXNet？

　　Alex表現(xiàn)，假如你要為深度進(jìn)修搭建一個(gè)盤算機(jī)集群（一種盤算機(jī)體系，它經(jīng)由過程一組松懈集成的盤算機(jī)軟件和/或硬件銜接起來高度慎密地協(xié)作完成盤算任務(wù)），亞馬遜則供給AWS CloudFormation Template。

　　固然MXNet有許多優(yōu)勢，并于客歲11月被亞馬遜選為官方深度進(jìn)修框架，又在本年2月參加Apache孵化器，應(yīng)用Apache軟件基金會的流程、治理、外展和社區(qū)運(yùn)動，然則今朝最風(fēng)行的依然是谷歌的TensorFlow等經(jīng)常使用框架。因?yàn)楸还雀钃屨枷葯C(jī)，將來MXNet想要疾速成長，必需爭奪更多開辟者的支撐。