來源：本文授權(quán)轉(zhuǎn)載自AI前線，作者唐杉 ，謝謝。

2017年，AI芯片是半導(dǎo)體產(chǎn)業(yè)的亮點(diǎn)，而它受到的關(guān)注又遠(yuǎn)遠(yuǎn)超出半導(dǎo)體的圈子。這一年，從科技巨頭到初創(chuàng)公司，新老角色輪番登場(chǎng)，為我們上演了精彩好戲。若干年后，當(dāng)我們?cè)倩仡^來看，一定可以把2017年作為 AI芯片元年 。

 

Google vs Nvidia ? 巨頭間的“錯(cuò)位戰(zhàn)爭(zhēng) ”

 

四月初， Google 公布了一篇即將在 ISCA2017 上發(fā)表的論文： “In-DatacenterPerformance Analysis of a Tensor Processing Unit” 。可以說正是這件“小事”，揭開了一部年度大戲的序幕，而它產(chǎn)生的深遠(yuǎn)影響甚至可能會(huì)持續(xù)到很多年之后。其實(shí)，在 2016 年 6 月的時(shí)候 Google 就透露了自己研發(fā)了一款在云端使用的專用 AI 芯片， TPU （ Tensor Processing Unit ）。 Google 做 AI 芯片當(dāng)然是吸引眼球的新聞，但苦于一直沒有公布細(xì)節(jié)，大家也只能猜測(cè)和等待。因此，這篇普通的學(xué)術(shù)論文，得到了媒體的極大關(guān)注。我也在第一時(shí)間寫了一篇評(píng)論文章： “ Google TPU 揭秘 ” ，也是我的公眾號(hào)閱讀量最大的文章之一。對(duì) TPU 高度關(guān)注的當(dāng)然不只我們這些吃瓜群眾，還有 AI 芯片領(lǐng)域絕對(duì)的統(tǒng)治者 Nvidia 。后面就發(fā)生了黃教主和 Google 間關(guān)于 TPU 的 Benchmark 結(jié)果是否合理的口水戰(zhàn)。而早在 2016 年 Google 透露 TPU 的時(shí)候， Nvidia 就多次表示它對(duì) GPU 在 AI 運(yùn)算上的統(tǒng)治地位沒有什么威脅。

5 月 11 日， Nvidia GTC2017 大會(huì)，黃教主在 Keynote 上拋出了最新的 GPU Volta （ GV100 ） 。 Nvidia 股票應(yīng)聲大漲，媒體也是大肆報(bào)道。 AI 芯片的焦點(diǎn)似乎又回到了 Nvidia 這一邊。

除了公布了重量級(jí)的 Volta ， GTC 上還有一個(gè) “ 小事件 ” ， Nvidia 宣布 開源它的 DeepLearning Accelerator （ DLA ） ， 9 月正式公開。這個(gè)發(fā)布，在黃教主的 Keynote 中是一句話帶過，但在業(yè)界引起的震動(dòng)卻一點(diǎn)也不小。 “Nvidia 為什么要搞開源？會(huì)開源什么東西？這個(gè)開源會(huì)不會(huì)影響眾多初創(chuàng)公司的前景？ ” 對(duì)這些問題的討論一直延續(xù)到 NVDLA 真正開源之后。

沒過多久， 5 月 17 日，在 Google I/O 大會(huì)上， Google 公布了第二代 TPU ，用媒體的話說 “…stoleNvidia’s recent Volta GPU thunder…” 。雖然 TPU2 的細(xì)節(jié)公布的并不多，但指標(biāo)確實(shí)看起來很不錯(cuò)，而且具有非常好的可擴(kuò)展性。唯一的遺憾就是它并不對(duì)外銷售，只能以 TPU Cloud 的方式供大家使用。

9 月下旬， Jeff Dean 這位 Google 的軟件大神參加了 HotChip 這個(gè)芯片界的重要會(huì)議 ，并在 Keynote “Recent Advances in ArtificialIntelligence via Machine Learning and the Implications for Computer SystemDesign” 也親自介紹了 TPU 和 TPU2 的情況，把它們作為新的計(jì)算生態(tài)中重要的一環(huán)。

 

9 月底， NVDLA 在承諾的最后期限之前開源了 NVDLA 的部分硬件代碼，同時(shí)公布了未來開源更多硬件和軟件的路線圖。這之后，大家對(duì) NVDLA 也做了各種分析和討論，試圖把它玩起來。從目前來看， NVDLA 的開源好像并沒有影響眾多初創(chuàng)公司的融資。這個(gè)話題我們后面再說。至于 Nvidia 開源 DLA 的原因，官方的說法是讓更多人可以更容易的實(shí)現(xiàn) Inference ，促進(jìn) AI 的推廣，特別是在眾多嵌入式設(shè)備上的應(yīng)用。但從整個(gè)開源的過程來看，這個(gè)開源的決定似乎是比較倉(cāng)促的。 DLA 來自 Nvidia 自動(dòng)駕駛 SoC 中的一個(gè) 模塊 ，最初并不是以開源 IP 為目的而設(shè)計(jì)的。而且 9 月的開源也只公開了一部分硬件代碼和相應(yīng)的驗(yàn)證環(huán)境，離真正能用起來也還是有較大差距。我們不好判斷這個(gè)開源的決定是否和 Google TPU （在 Inference 上有比較大的優(yōu)勢(shì)）的強(qiáng)勢(shì)亮相有關(guān)系。但基本的推測(cè)是，在 Deep Learning 中 Nvidia 的核心利益應(yīng)該在于 Training （目前 GPU 還是 training 的最好平臺(tái)）。讓 Inference 門檻更低，滲透到更多應(yīng)用，特別是 Edge 端，從而進(jìn)一步促進(jìn) Training 的需求，應(yīng)該是符合它的最大利益的。而且 NVDLA 的軟件環(huán)境還是使用 Nvidia 的 CUDA/TensorRT ，還是由 Nvidia 掌控的。

這場(chǎng)從一篇論文開始，幾乎貫穿了 2017 年全年的 Google 和 Nvidia 的明爭(zhēng)暗斗,對(duì)業(yè)界的影響可能要遠(yuǎn)遠(yuǎn)超過這兩家公司本身。我之所以把它稱為 “ 錯(cuò)位 ” 的戰(zhàn)爭(zhēng)，是因?yàn)樗l(fā)生在 Google 這樣的傳統(tǒng)的軟件巨頭和 Nvidia 這樣的芯片巨頭之間。如果換成 Intel vs Nvidia ，似乎是再正常不過的。 Google 的參戰(zhàn)，也許是開啟了新的時(shí)代。我們可以看到，不僅是 TPU ， Google 在 10 月又公布了他們?cè)?“GooglePixel 2” 手機(jī)中使用的定制 SoC IPU （ ImageProcessing Unit ）。和 Apple 越來越多的自己定制芯片一樣， Google 這樣的科技巨頭同樣有應(yīng)用（明確知道自己要什么），技術(shù)（對(duì)相關(guān)技術(shù)的多年積累），資源（不缺錢，不缺人）上的優(yōu)勢(shì)，定制自己的硬件，甚至芯片會(huì)變得常態(tài)化。同時(shí)我們也看到， Google TPU 的示范效應(yīng)已經(jīng)顯現(xiàn)，更多的科技巨頭加入 AI 加速硬件的競(jìng)爭(zhēng)。 Tesla 宣布自己定制自動(dòng)駕駛芯片； Amazon ， Microsoft ，以及國(guó)內(nèi)的 BAT ，華為都在 Cloud 中提供專門的 FPGA 加速的支持 ；據(jù)稱 Big Five 中還有在自己開發(fā)芯片的； BAT 也都在組建芯片設(shè)計(jì)的團(tuán)隊(duì)，等等。雖然大家具體的架構(gòu)和實(shí)現(xiàn)方式不同，但都反映出對(duì) AI 專用硬件的極大興趣。相信未來這一趨勢(shì)會(huì)越來越明顯。

同時(shí)，傳統(tǒng)的芯片巨頭當(dāng)然不會(huì)坐視這個(gè)巨大的市場(chǎng)被 Nvidia 主宰或者被 Google 們瓜分。 Intel 連續(xù)收購(gòu)了 Nervana （云）， Movidius （端）， Mobileye （自動(dòng)駕駛）， Altera （ FPGA ），又把 AMD 的 RajaKudori （ GPU ）招至帳下，甚至還搞了 Loihi（nueromorphic） ， 可以說拿了一手好牌；雖然動(dòng)作沒有大家想象的那么快，但后面的發(fā)力還是值得期待的。 AMD 也在努力追趕，畢竟他們的 CPU+GPU 有自己絕活，而整個(gè)公司也已經(jīng)逐漸走出了低谷。而且，不管 Tesla 和 AMD 合作自動(dòng)駕駛芯片的消息到底是真是假，芯片公司這種輸出芯片設(shè)計(jì)能力的模式也是一種不錯(cuò)（或者無奈）的選擇。 

“ 以 Machine Learning 為代表的新型計(jì)算模式將引領(lǐng)未來芯片的發(fā)展方向 ” ，這一觀點(diǎn)基本已經(jīng)是大家的一個(gè)共識(shí)。越來越多的玩家會(huì)關(guān)注能夠支持新型計(jì)算的芯片，其中很多可能之前完全不在半導(dǎo)體這個(gè)圈子，也完全不了解芯片是怎么回事。 2017 年我們不時(shí)能看到一些對(duì)比 CPU ， GPU ， FPGA 和 ASIC 架構(gòu)的 科普文章，甚至有 10W+ 的閱讀量，不難看出大家的熱情。 

 

初創(chuàng)公司 ? 長(zhǎng)長(zhǎng)的list

 

2017 的 AI 芯片大戲中，主角不僅是巨頭，初創(chuàng)公司也都粉墨登場(chǎng)，戲份一點(diǎn)兒都不遜色。更重要的，在初創(chuàng)公司的 “ 表演 ” 中，中國(guó)公司不僅毫不怯場(chǎng)，而且非常出彩。我從 8 月份開始在 github 上維護(hù)一個(gè) AI 芯片的列表，既包括大公司的產(chǎn)品，又包括初創(chuàng)公司的情況。到 12 月，這個(gè)列表中的信息越來越多，世界范圍內(nèi)的初創(chuàng)公司有 30 多家。而且這個(gè)列表還只包含了公開信息，還有很多公司處在 stealth 狀態(tài)并沒有收錄。我也聽到一個(gè)說法，在 AI 芯片領(lǐng)域的初創(chuàng)公司可能超過了 100 家，在 TSMC 排隊(duì)投片也有 30 家。

不管在什么領(lǐng)域，初創(chuàng)公司都會(huì)面臨很多風(fēng)險(xiǎn)和不確定性，也可能在成長(zhǎng)過程中不斷調(diào)整和變化。 AI 芯片當(dāng)然也不例外。我們看到，在這一年中，很多公司在不斷成長(zhǎng)，逐漸明確自己的方向和定位，走的越來越堅(jiān)實(shí)。另一方面，從今年初創(chuàng)公司融資的情況來看，這個(gè)領(lǐng)域（也包括更大范圍的 AI 概念）也明顯出現(xiàn)一些泡沫。有些公司，在沒有任何實(shí)際東西的情況下，就可以實(shí)現(xiàn) “PPT 融資 ” 或者 “Paper 融資 ” 。有些公司，重心放在了 PR 上面，功夫都是做給 VC 看的，人稱 “2VC” 公司。面對(duì) AI 這個(gè)趨勢(shì)性機(jī)會(huì)，有泡沫當(dāng)然也是正?，F(xiàn)象，只是希望這些泡沫不要傷害整個(gè)市場(chǎng)的發(fā)展。 

拋開各種煙霧和泡沫，我們逐漸在這個(gè)領(lǐng)域初創(chuàng)公司也看到一些 “ 龍頭企業(yè) ” 。比如國(guó)內(nèi)的寒武紀(jì)、地平線、深鑒科技和比特大陸，都在 2017 年發(fā)布了自己的產(chǎn)品；美國(guó)的 Cerebras 、 Wave Computing 、 Graphcore 和 Groq （前 GoogleTPU 主要設(shè)計(jì)者創(chuàng)立），或有雄厚的實(shí)力，或有自己特色的技術(shù)和比較清晰的產(chǎn)品。在 2017 年，國(guó)內(nèi)也出現(xiàn)一些依托應(yīng)用開發(fā)芯片的 AI 初創(chuàng)公司，這些公司大多以應(yīng)用牽頭研發(fā)芯片。我也預(yù)期在 2018 年會(huì)看到更多這樣的情況。當(dāng)然，很多初創(chuàng)公司并沒有公開自己的信息，不排除正在憋大招的可能性。

熟悉半導(dǎo)體產(chǎn)業(yè)的朋友可能比較清楚，半導(dǎo)體領(lǐng)域初創(chuàng)公司獲得 VC 投資在之前是非常困難的。主要原因是這個(gè)產(chǎn)業(yè)風(fēng)險(xiǎn)大，門檻高，周期長(zhǎng)。但 2017 年， AI 芯片的初創(chuàng)企業(yè)卻受到了資金追捧。我們可以看看今年的一些公開的融資數(shù)據(jù)。寒武紀(jì)： 1 億美金（估值近 10 億美金）；深鑒科技： 4000 萬美金；地平線：近億美金；； Cerabras ： 6000 萬美金（估值 8.6 億美金）； Graphcore ： 5000 萬美金。在前面我也提到，當(dāng) Nvidia 宣布要開源 DLA 的時(shí)候，大家感覺會(huì)對(duì)初創(chuàng)公司的融資和估值有一定影響。但從結(jié)果來看，這種情況并沒有出現(xiàn)。在 9 月之后，我們又看到很多初創(chuàng)公司成功融資。而投資者的熱情似乎一點(diǎn)都沒有減弱，只要有一個(gè)新的公司出現(xiàn)，立刻會(huì)有很多投資機(jī)構(gòu)蜂擁而至。

為什么傳統(tǒng)上不愿意碰半導(dǎo)體產(chǎn)業(yè)的投資者現(xiàn)在卻對(duì) AI 芯片趨之若鶩呢？這是一個(gè)有趣的問題。具體的原因可能有很多方面，整個(gè) AI 領(lǐng)域的投資熱潮應(yīng)該是一個(gè)主要原因。如果觀察這些投資背后的資本，可以看到很多本身就是 AI 領(lǐng)域很活躍的投資者，甚至本身就是把 AI 作為未來重點(diǎn)的科技巨頭，比如 BAT 。而傳統(tǒng)的投資半導(dǎo)體領(lǐng)域的資金倒是比較謹(jǐn)慎一些。從這個(gè)角度來說，這些沒有太多半導(dǎo)體背景的資本大量進(jìn)入芯片領(lǐng)域，是會(huì)給大家?guī)硇碌臋C(jī)會(huì)和視野，還是帶來風(fēng)險(xiǎn)和不確定性，還是有待觀察的。另外，現(xiàn)在所說的 AI 芯片，一般是指 Deep Learning 加速芯片 ，相對(duì)來說，關(guān)鍵算法簡(jiǎn)單清晰，優(yōu)化目標(biāo)非常明確，很多技術(shù)（比如矩陣運(yùn)算的硬件加速）已有多年的研究基礎(chǔ)。而對(duì)這種硬件加速器的驗(yàn)證，測(cè)試和調(diào)試也相對(duì)容易。如果不進(jìn)行精細(xì)的優(yōu)化，硬件部分可以由一個(gè)較小團(tuán)隊(duì)在較短時(shí)間完成。這些技術(shù)上的特征比較適合初創(chuàng)公司快速嘗試。當(dāng)然，做一個(gè)加速芯片（或者 IP ）的硬件只是第一步。要真正做出能被市場(chǎng)接受的產(chǎn)品，則需要很多扎實(shí)的工作，產(chǎn)品定義，硬件效能，軟件工具，系統(tǒng)測(cè)試，現(xiàn)場(chǎng)支持等等，一個(gè)短板也不能有。雖然大家都很關(guān)心投片的時(shí)間，但樣片出來之后，臟活累活還多著呢。

 

2018 ? 關(guān)注什么

對(duì)于 2018 ，我還是非常期待的。作為一名多年從事芯片架構(gòu)設(shè)計(jì)多年的工程師，我首先期待看到一些技術(shù)上的創(chuàng)新。 2017 年我寫了不少分析 AI 芯片相關(guān)技術(shù)的文章，到年末幾乎有點(diǎn)審美疲勞了（相信讀者也是一樣），似乎新鮮東西越來越少。在 2017 年底，有一個(gè)叫 Vathys 的初創(chuàng)公司 ，一下子開了好幾個(gè)腦洞，全定制的 Asynchronous Logic ，等效的時(shí)鐘可以到 12GHz （ 28nm 工藝）； High-densitySRAM （ 1T-SRAM ），片上存儲(chǔ)容量可以達(dá)到 1.5GB （ 28nm ）； Wireless 3D Stacking ， 10,000GBit/S @ ~8 fJ/bit 。這幾項(xiàng)技術(shù)要么是目前還停留在學(xué)術(shù)研究階段，要么是曾經(jīng)曇花一現(xiàn)。一個(gè)初創(chuàng)公司一下就祭出這幾個(gè)大招，又是這么高的指標(biāo)，真有可能實(shí)現(xiàn)嗎？所以，當(dāng) Vathys 的老板發(fā)郵件說應(yīng)該把他們公司加到我做的 AI 芯片 List 里的時(shí)候，我開始是婉拒的。不過，換一個(gè)角度來看，即使是他們完全在忽悠，也算是擊中了 Deep Learning 處理器的痛點(diǎn)。而且這幾項(xiàng)技術(shù)目前也都有人在研究，在 AI 的熱潮和巨大的資金支持下也許真能搞出來也說不定。所以，我還是希望看到他們或者是其它團(tuán)隊(duì)能夠在這幾項(xiàng)技術(shù)上取得突破，讓我們真正激動(dòng)一把。說到技術(shù)的突破，我們未來（可能要比 2018 年更遠(yuǎn)）還可以期待看到在存儲(chǔ)技術(shù)上的突破，以及由新的存儲(chǔ)技術(shù)帶動(dòng)的架構(gòu)上的創(chuàng)新，包括 Neuromorphic 這條技術(shù)路線。

接下來，當(dāng)然是巨頭們的下一步動(dòng)作。 Google 的 TPU 是否會(huì)賣給自己之外的用戶，直接和 Nvidia 展開競(jìng)爭(zhēng)？目前 ONNX陣營(yíng)已經(jīng)形成和Google的對(duì)峙 ，Google作為生態(tài)最完整的廠商，推廣TPU對(duì)鞏固自己的領(lǐng)先地位很有意義。 Big Five 和 BAT 哪個(gè)會(huì)學(xué)習(xí) Google 榜樣直接自研芯片？阿里達(dá)摩院的芯片研究會(huì)不會(huì)從 AI 開始？ Intel 能不能如大家所期待的全面爆發(fā)？ Nvidia 會(huì)如何應(yīng)對(duì)來自各方的挑戰(zhàn)，是否會(huì)做更專用的加速芯片，而不是僅僅在 GPU 中加個(gè) Tensor Core ？高通什么時(shí)候在手機(jī)芯片中加上硬件加速器？ARM下一步會(huì)怎么走，會(huì)不會(huì)橫掃嵌入端？。。。隨便想想就會(huì)有很多值得期待的看點(diǎn)。最近我們也看到，為了對(duì)抗 Nvidia ， AMD 和 Intel 竟然很罕見的宣布合作。而 IBM 在 Power9 上和 Nvidia 深度合作。 2018 年也許我們還能看到業(yè)界巨頭間更多的合縱連橫。

初創(chuàng)公司的命運(yùn)也是 2018 年最大的看點(diǎn)。我在之前的一篇文章中說過 “ 對(duì)于 AI 芯片的 startup 來說， 2018 年就算不是畢業(yè)大考，也至少到了學(xué)期末考試了 …” 。 2018 年，大部分初創(chuàng)公司都將會(huì)交出第一次測(cè)驗(yàn)的結(jié)果（芯片），也會(huì)開始小批量的試用。相信到時(shí)會(huì)有比較公平的 Benchmarking 結(jié)果出現(xiàn)， “ 理論上 ” 的指標(biāo)會(huì)被 實(shí)際的 “ 跑分 ” 結(jié)果 取代。雖然對(duì)于初創(chuàng)公司來說，犯錯(cuò)誤是可以容忍的，第一代芯片也不能完全代表公司未來的前景。但是，做芯片需要巨大資源的持續(xù)支持，這個(gè)階段掉隊(duì)可能非常危險(xiǎn)。當(dāng)然，第一次的淘汰對(duì)于真正優(yōu)秀的企業(yè)也是最好的機(jī)會(huì)。我非常期待看到能夠在考試中脫穎而出，并跨上新的臺(tái)階（或者直接畢業(yè)）的同學(xué)；或者，會(huì)有我們不認(rèn)識(shí)的面孔，突然驚艷出場(chǎng)。另外，2018年，在Edge端會(huì)有更多的傳統(tǒng)芯片廠商加入競(jìng)爭(zhēng)，除了三星，高通，MTK，展訊等芯片廠商，還有傳統(tǒng)的IP廠商；而在嵌入端IP上有絕對(duì)優(yōu)勢(shì)的ARM應(yīng)該也會(huì)有更大的動(dòng)作，這些都可能會(huì)對(duì)初創(chuàng)公司產(chǎn)生重大影響。

最后，是變局的可能。從整體上來講， AI 整體上在 2018 年會(huì)怎么發(fā)展是一個(gè)大家都非常關(guān)注的問題。繼續(xù)高速增長(zhǎng)，還是平穩(wěn)發(fā)展，又或者會(huì)遇到問題高開低走？不管是哪種情況， AI 芯片必然會(huì)受到大勢(shì)的影響。比較特殊的是，芯片研發(fā)的周期大約在 9 到 18 個(gè)月左右，這比軟件應(yīng)用的開發(fā)和更新周期要長(zhǎng)的多。再加上一些滯后效應(yīng)，芯片的發(fā)展很難和算法和應(yīng)用的發(fā)展節(jié)奏同步。芯片開發(fā)中一個(gè)比較可怕的問題就是未來的不確定性。相對(duì)來說，一個(gè)可預(yù)期的平穩(wěn)增長(zhǎng)的環(huán)境是最有利于芯片研發(fā)的，可以讓芯片設(shè)計(jì)者能夠更好的規(guī)劃產(chǎn)品和協(xié)調(diào)資源。另一種變局情況是，算法層面發(fā)生巨大的變化，也就是技術(shù)上的不確定性。這幾年最成功的 AI 算法就是基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)。這正是目前 AI 芯片在需求上的基礎(chǔ)，也決定了現(xiàn)在大部分 AI 芯片都是以加速這一類算法為目標(biāo)的。如果基本算法需求發(fā)生變化，會(huì)對(duì) AI 芯片的設(shè)計(jì)產(chǎn)生很大的影響。比如，目前已經(jīng)有一定應(yīng)用基礎(chǔ)的低精度網(wǎng)絡(luò)，也就是在 inference 中使用非常低的精度，甚至直接使用二值網(wǎng)絡(luò)。如果這種 Inference 得到廣泛應(yīng)用，現(xiàn)在的芯片架構(gòu)則可能得要重新考慮。再比如，如果 Hinton 大神的 capsule networks 得到實(shí)用，也可能會(huì)需要新的芯片架構(gòu)來支持。畢竟 AI 領(lǐng)域現(xiàn)在發(fā)展很快，所以大家也都必須要時(shí)刻盯著應(yīng)用和算法層面最新的進(jìn)展。我們也要隨時(shí)問自己下面的問題（來自Jeff Dean在NIPS2017的演講）。

2017-01-01  來源：半導(dǎo)體行業(yè)觀察 

文章關(guān)鍵詞： 韋爾股份  香港華清電子(集團(tuán))有限公司  AI芯片