突破視覺(jué)感知性能瓶頸！清華“天眸芯”登Nature，實(shí)現(xiàn)10000幀/秒的高速率

在開(kāi)放世界中，智能系統(tǒng)不僅要處理龐大的數(shù)據(jù)量，還需要應(yīng)對(duì)各種長(zhǎng)尾問(wèn)題，如自動(dòng)駕駛中面臨的突發(fā)危險(xiǎn)、出入隧道的劇烈光線變化、夜間強(qiáng)閃光干擾等。在這類任務(wù)上，傳統(tǒng)視覺(jué)感知芯片由于受到功耗墻和帶寬墻的限制，往往面臨失真、失效或高延遲的問(wèn)題，嚴(yán)重影響系統(tǒng)的穩(wěn)定性和安全性。

為了克服這些挑戰(zhàn)，近日，清華大學(xué)精密儀器系類腦計(jì)算研究團(tuán)隊(duì)研制出世界首款類腦互補(bǔ)視覺(jué)芯片“天眸芯”，基于該研究成果的論文5月30日作為封面文章發(fā)表于國(guó)際學(xué)術(shù)期刊《自然》。

研發(fā)背景

眾所周知，芯片作為人工智能的“心臟”，其重要性不言而喻。而視覺(jué)感知作為信息獲取的重要途徑，在無(wú)人駕駛、人工智能等系統(tǒng)中扮演著至關(guān)重要的角色。然而，傳統(tǒng)的視覺(jué)感知技術(shù)往往存在識(shí)別速度慢、精度不高等問(wèn)題，難以滿足日益增長(zhǎng)的應(yīng)用需求。因此，開(kāi)發(fā)一種新型的、高效的視覺(jué)感知芯片成為了科技界亟待解決的問(wèn)題。

正是在這樣的背景下，清華大學(xué)施路平教授團(tuán)隊(duì)提出了一種基于視覺(jué)原語(yǔ)的互補(bǔ)雙通路類腦視覺(jué)感知新范式。這種新范式通過(guò)模擬人腦視覺(jué)系統(tǒng)的工作原理，實(shí)現(xiàn)了對(duì)圖像信息的快速、準(zhǔn)確處理。同時(shí)，團(tuán)隊(duì)還成功研制出了世界首款基于這種新范式的類腦互補(bǔ)視覺(jué)芯片“天眸芯”。

這一突破也向世界展示了中國(guó)在芯片領(lǐng)域的強(qiáng)大實(shí)力和創(chuàng)新能力。面對(duì)美西方的技術(shù)打壓和封鎖，中國(guó)科研人員并沒(méi)有退縮和放棄，而是迎難而上、攻堅(jiān)克難，不斷取得新的突破和進(jìn)展。這種精神值得我們每一個(gè)人學(xué)習(xí)和傳承。

值得一提的是，“天眸芯”芯片的研制過(guò)程并非一帆風(fēng)順。在研發(fā)過(guò)程中，團(tuán)隊(duì)成員們克服了諸多技術(shù)難題和挑戰(zhàn)，付出了大量的心血和汗水。正是他們的辛勤付出和不懈努力，才使得這一成果得以成功問(wèn)世。

首款類腦互補(bǔ)視覺(jué)芯片問(wèn)世

研究團(tuán)隊(duì)聚焦類腦視覺(jué)感知芯片技術(shù)，提出一種基于視覺(jué)原語(yǔ)的互補(bǔ)雙通路類腦視覺(jué)感知新范式——借鑒人類視覺(jué)系統(tǒng)的基本原理，將開(kāi)放世界的視覺(jué)信息拆解為基于視覺(jué)原語(yǔ)的信息表示，并通過(guò)有機(jī)組合這些原語(yǔ)，模仿人視覺(jué)系統(tǒng)的特征，形成兩條優(yōu)勢(shì)互補(bǔ)、信息完備的視覺(jué)感知通路。

在此基礎(chǔ)上，團(tuán)隊(duì)研制出世界首款類腦互補(bǔ)視覺(jué)芯片“天眸芯”，在極低的帶寬（降低90%）和功耗代價(jià)下，實(shí)現(xiàn)每秒10000幀的高速、10bit的高精度、130dB的高動(dòng)態(tài)范圍的視覺(jué)信息采集，不僅突破傳統(tǒng)視覺(jué)感知范式的性能瓶頸，而且能夠高效應(yīng)對(duì)各種極端場(chǎng)景，確保系統(tǒng)的穩(wěn)定性和安全性。

基于“天眸芯”，團(tuán)隊(duì)還自主研發(fā)高性能軟件和算法，并在開(kāi)放環(huán)境車載平臺(tái)上進(jìn)行性能驗(yàn)證。在多種極端場(chǎng)景下，該系統(tǒng)實(shí)現(xiàn)低延遲、高性能的實(shí)時(shí)感知推理，展現(xiàn)其在智能無(wú)人系統(tǒng)領(lǐng)域的巨大應(yīng)用潛力。

清華大學(xué)表示，結(jié)合團(tuán)隊(duì)在類腦計(jì)算芯片天機(jī)芯、類腦軟件工具鏈和類腦機(jī)器人等方面已應(yīng)用落地的技術(shù)積累，天眸芯的加入將進(jìn)一步完善類腦智能生態(tài)，有力地推動(dòng)人工通用智能的發(fā)展。

人類視覺(jué)系統(tǒng)開(kāi)啟全新范式

隨著AI加速發(fā)展，無(wú)人駕駛、具身智能等“無(wú)人系統(tǒng)”在現(xiàn)實(shí)中的應(yīng)用更加廣泛，并引領(lǐng)著新一輪科技產(chǎn)業(yè)革命。在這些智能系統(tǒng)中，視覺(jué)感知作為獲取信息的核心途徑，發(fā)揮著至關(guān)重要的作用。

就以自動(dòng)駕駛舉例，在真實(shí)的開(kāi)放世界中，系統(tǒng)不僅需要處理龐大的數(shù)據(jù)，還需要應(yīng)對(duì)各種極端事件。比如，惡劣天氣環(huán)境、駕駛中突發(fā)的危險(xiǎn)，夜間強(qiáng)閃光干擾等各種長(zhǎng)尾問(wèn)題，為AI系統(tǒng)帶來(lái)了極大的挑戰(zhàn)。這時(shí)，如果采用傳統(tǒng)的視覺(jué)感知芯片，會(huì)受到「功耗墻」和「帶寬墻」的限制，無(wú)法同時(shí)應(yīng)對(duì)以上駕駛中出現(xiàn)的邊緣情況。

更進(jìn)一步說(shuō)，傳統(tǒng)視覺(jué)芯片在面對(duì)這些場(chǎng)景時(shí)，往往會(huì)出現(xiàn)失真、失效或高延遲的問(wèn)題，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性。為了克服這些挑戰(zhàn)，清華團(tuán)隊(duì)聚焦類腦視覺(jué)感知芯片技術(shù)，提出了一種全新的范式——基于視覺(jué)原語(yǔ)的互補(bǔ)雙通路類腦視覺(jué)感知范式。

具體講，新范式包括了“基于視覺(jué)原語(yǔ)的表征”，以及“兩條互補(bǔ)視覺(jué)通路”（CVP）。在這一范式中，借鑒人視覺(jué)系統(tǒng)中的視覺(jué)原語(yǔ)的概念，它將開(kāi)放世界的視覺(jué)信息拆解為「視覺(jué)原語(yǔ)」。這些視覺(jué)原語(yǔ)各自描述了視覺(jué)信息的一種基本要素。然后通過(guò)有機(jī)組合這些原語(yǔ)，借鑒人視覺(jué)系統(tǒng)的特征，形成兩條優(yōu)勢(shì)互補(bǔ)、信息完備的視覺(jué)感知通路，如下圖所示。

其中，視覺(jué)原語(yǔ)包括但不僅限于顏色、數(shù)據(jù)精度、靈敏度、空間分辨率、速度、絕對(duì)強(qiáng)度、空間差（SD）和時(shí)間差（TD）。CVP包括兩條不同的通路：認(rèn)知導(dǎo)向通路（COP）和行動(dòng)導(dǎo)向通路（AOP）。與HVS中的腹側(cè)通路（Ventral stream）和背側(cè)通路（Dorsal stream）相類似?！罢J(rèn)知導(dǎo)向通路”使用顏色、強(qiáng)度、高空間分辨率和高精度等視覺(jué)原語(yǔ)，來(lái)實(shí)現(xiàn)精確認(rèn)知，最大限度地減少空間混疊和量化誤差。

相比之下，“行動(dòng)導(dǎo)向通路”使用SD、TD、速度等視覺(jué)原語(yǔ)，來(lái)實(shí)現(xiàn)魯棒、高稀疏的快速反應(yīng)，從而解決數(shù)據(jù)冗余和延遲問(wèn)題。這兩種方法在構(gòu)建正常情況，以及邊緣情況的表征時(shí)相互補(bǔ)充，從而實(shí)現(xiàn)了高動(dòng)態(tài)范圍，并緩解了語(yǔ)義錯(cuò)位和分布外物體檢測(cè)問(wèn)題。