近些年來，很多人工智能系統(tǒng)都是使用大量帶有標(biāo)記的數(shù)據(jù)來進(jìn)行學(xué)習(xí)的，這就像學(xué)生整個(gè)學(xué)期都沒來上課，然后在期末考試前一晚死記硬背，雖然取得了好成績，卻并沒有真正理解知識(shí)。

但是，《量子雜志》（Quanta Magazine）8月11日發(fā)表文章稱，一些計(jì)算神經(jīng)科學(xué)家開始嘗試使用含有少量甚至沒有人工標(biāo)記的數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并在模擬人類語言以及最新的圖像識(shí)別方面已經(jīng)頗有成效。人工網(wǎng)絡(luò)似乎逐漸展現(xiàn)出人類大腦的實(shí)際學(xué)習(xí)方式。

(相關(guān)資料圖)

十年來，許多最出色的人工智能系統(tǒng)都是使用大量帶有標(biāo)記的數(shù)據(jù)來進(jìn)行學(xué)習(xí)的。例如，一個(gè)圖像可能被標(biāo)記為“虎斑貓”或“山貓”，以便“訓(xùn)練”人工神經(jīng)網(wǎng)絡(luò)正確區(qū)分二者。這一方法取得了驚人的成功，卻也存在著嚴(yán)重的缺陷。

這種“有監(jiān)督”的訓(xùn)練需要人工耗時(shí)費(fèi)力地標(biāo)記數(shù)據(jù)，而神經(jīng)網(wǎng)絡(luò)往往會(huì)走捷徑，把標(biāo)記與最少的信息相關(guān)聯(lián)，這些信息往往只是表面的。例如，神經(jīng)網(wǎng)絡(luò)也許會(huì)根據(jù)草的存在來識(shí)別一張奶牛的照片，因?yàn)槟膛ＭǔＪ窃谔镩g被拍攝的。

加州大學(xué)伯克利分校（University of California，Berkeley）的計(jì)算機(jī)科學(xué)家阿列克謝·埃夫羅斯（Alexei Efros）談到，“我們正在培養(yǎng)一代算法，這種算法就好比本科生整個(gè)學(xué)期都沒來上課，然后在期末考試前一晚死記硬背，其實(shí)他們并沒有真正理解這些資料，但他們?cè)诳荚囍斜憩F(xiàn)很好?！?/p>

并且，對(duì)于關(guān)注動(dòng)物與機(jī)器智能交叉領(lǐng)域的研究人員來說，這種“監(jiān)督學(xué)習(xí)”在揭示生物大腦方面可能受到限制。而包括人類在內(nèi)的動(dòng)物不是通過標(biāo)記數(shù)據(jù)集進(jìn)行學(xué)習(xí)的。通常而言，動(dòng)物們會(huì)通過自己探索環(huán)境而對(duì)世界產(chǎn)生豐富而有力的了解。

目前，一些計(jì)算神經(jīng)科學(xué)家開始嘗試使用含有少量甚至沒有人工標(biāo)記的數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。這些“自監(jiān)督學(xué)習(xí)”算法在模擬人類語言以及最新的圖像識(shí)別方面已經(jīng)頗有成效。在最近的研究中，與監(jiān)督學(xué)習(xí)得到的模型相比，使用自監(jiān)督學(xué)習(xí)算法構(gòu)建的哺乳動(dòng)物視覺和聽覺系統(tǒng)的計(jì)算模型更接近大腦功能。在一些神經(jīng)科學(xué)家看來，人工網(wǎng)絡(luò)似乎逐漸展現(xiàn)出人類大腦的實(shí)際學(xué)習(xí)方式。

有缺陷的監(jiān)督

受人工神經(jīng)網(wǎng)絡(luò)啟發(fā)的大腦模型大約在10年前就成熟了，幾乎同時(shí)，一個(gè)名為AlexNet的神經(jīng)網(wǎng)絡(luò)徹底革新了分類未知圖像的方法。與所有神經(jīng)網(wǎng)絡(luò)一樣，該網(wǎng)絡(luò)由多層人工神經(jīng)元組成，這些計(jì)算單元相互連接，關(guān)聯(lián)的強(qiáng)度或“權(quán)重”可能不同。如果神經(jīng)網(wǎng)絡(luò)無法正確分類圖像，學(xué)習(xí)算法將更新神經(jīng)元之間關(guān)聯(lián)的權(quán)重，以減少下一輪訓(xùn)練中出現(xiàn)錯(cuò)誤分類的可能性。這個(gè)過程循環(huán)往復(fù)，直到錯(cuò)誤率降低至可以接受的程度。

隨之，神經(jīng)科學(xué)家使用AlexNet及其衍生的神經(jīng)網(wǎng)絡(luò)，研發(fā)出了靈長類視覺系統(tǒng)的第一個(gè)計(jì)算模型。這種合并看起來很有前景：例如，當(dāng)猴子和人工神經(jīng)網(wǎng)絡(luò)看到相同的圖像時(shí)，真實(shí)神經(jīng)元和人工神經(jīng)元的活動(dòng)表現(xiàn)出有趣的對(duì)應(yīng)關(guān)系。研究還檢測了它們?cè)诼犛X和氣味上的反應(yīng)。

但隨著該領(lǐng)域的發(fā)展，研究人員意識(shí)到了監(jiān)督訓(xùn)練的局限性。例如，2017年，當(dāng)時(shí)在德國圖賓根大學(xué)（University of Tübingen）工作的計(jì)算機(jī)專家利昂·蓋蒂斯（Leon Gatys）和他的同事拍攝了一張福特T型車的照片，并在照片上覆蓋豹皮圖案，生成了一張奇異而可辨的圖像。先進(jìn)的人工神經(jīng)網(wǎng)絡(luò)將原始圖像正確分類為福特T型車，但將修改后的圖像誤認(rèn)為豹子。這一案例表明，它專注于紋理，卻不了解汽車（或豹子）的形狀。

加州大學(xué)的計(jì)算機(jī)科學(xué)家阿列克謝·埃夫羅斯認(rèn)為，大多數(shù)現(xiàn)代人工智能系統(tǒng)太依賴人類創(chuàng)建的標(biāo)簽，“他們并沒有真正在學(xué)習(xí)材料。”

自監(jiān)督學(xué)習(xí)策略則旨在避免此類問題。在這種方法中，人類不需要標(biāo)記數(shù)據(jù)。相反，“標(biāo)記來自數(shù)據(jù)本身，”來自瑞士巴塞爾的弗里德里?！っ字x爾生物醫(yī)學(xué)研究所（Friedrich Miescher Institute for Biomedical Research）的計(jì)算神經(jīng)學(xué)家弗里德曼·澤克（Friedemann Zenke）說道。自監(jiān)督算法本質(zhì)上是在數(shù)據(jù)中創(chuàng)建空白，并要求神經(jīng)網(wǎng)絡(luò)填補(bǔ)它們。例如，在所謂的大型語言模型中，訓(xùn)練算法將向神經(jīng)網(wǎng)絡(luò)顯示句子的前幾個(gè)單詞，要求它預(yù)測下一個(gè)單詞。當(dāng)使用從互聯(lián)網(wǎng)上收集的大量文本語料庫進(jìn)行訓(xùn)練時(shí)，該模型似乎可以領(lǐng)會(huì)語言的句法結(jié)構(gòu)，然后展現(xiàn)令人印象深刻的語言能力——而所有的這些行為都沒有借助外部標(biāo)記或監(jiān)督。

計(jì)算機(jī)視覺領(lǐng)域也在進(jìn)行類似的工作。2021年底，Kaiming He和同事們展示了他們的“蒙面自動(dòng)編碼器”，該編碼器以埃夫羅斯團(tuán)隊(duì)在2016年開創(chuàng)的技術(shù)為基礎(chǔ)。自監(jiān)督學(xué)習(xí)算法隨機(jī)遮蔽圖像，幾乎遮擋了每幅圖像的四分之三。該自動(dòng)編碼器將未遮蔽部分轉(zhuǎn)換為隱層表示，即包含有關(guān)對(duì)象重要信息的被壓縮過的數(shù)學(xué)表示（對(duì)于圖像來說，隱層表示可能是一種數(shù)學(xué)描述，其中包括捕捉圖像中物體的形狀等信息）。然后解碼器將這些表示轉(zhuǎn)換成完整圖像。

自監(jiān)督學(xué)習(xí)算法將編碼器和解碼器組合并訓(xùn)練，以將殘缺圖像恢復(fù)為完整版本。真實(shí)圖像和重建圖像之間的任何差異都會(huì)反饋到系統(tǒng)中，幫助系統(tǒng)學(xué)習(xí)。該過程對(duì)一組訓(xùn)練圖像重復(fù)，直到系統(tǒng)的錯(cuò)誤率變得適當(dāng)?shù)汀Ｔ谝粋€(gè)案例中，一個(gè)經(jīng)過訓(xùn)練的蒙面自動(dòng)編碼器成功恢復(fù)了一個(gè)幾乎被遮擋了80%的巴士圖像，系統(tǒng)成功重建了巴士的結(jié)構(gòu)。

“這是一個(gè)非常非常令人印象深刻的結(jié)果?！卑７蛄_斯說。

相比先前的算法，這樣的系統(tǒng)創(chuàng)建的隱層表示包含更深層信息。例如，該系統(tǒng)可以學(xué)習(xí)汽車或豹子的形狀，而不僅僅是它們的圖案。埃弗羅斯說：“從下到上積累知識(shí)，這就是自監(jiān)督學(xué)習(xí)的基本理念?！辈灰獮榱送ㄟ^考試而臨時(shí)抱佛腳。

自我監(jiān)督的大腦

在這樣的系統(tǒng)中，一些神經(jīng)科學(xué)家看到了人腦學(xué)習(xí)的反饋方式。麥吉爾大學(xué)和魁北克人工智能研究所（Mila）的計(jì)算神經(jīng)科學(xué)家布萊克·理查茲（Blake Richards）表示：“毫無疑問，大腦90%的活動(dòng)是自監(jiān)督學(xué)習(xí)?！鄙锎竽X被認(rèn)為是在不斷預(yù)測，比如說，一個(gè)物體移動(dòng)時(shí)的未來位置，或者句子中的下一個(gè)單詞，就像一個(gè)自監(jiān)督學(xué)習(xí)算法試圖預(yù)測圖像或文本片段中的間隙一樣。大腦也會(huì)從自己的錯(cuò)誤中學(xué)習(xí)，我們大腦的反饋只有一小部分來自外部，基本上是明確提示的“錯(cuò)誤答案”。

計(jì)算神經(jīng)科學(xué)家布萊克·理查茲幫助創(chuàng)建了可以模仿大腦視覺網(wǎng)絡(luò)的人工智能。

參考人類和其他靈長類動(dòng)物的視覺系統(tǒng)，這些是所有動(dòng)物感覺系統(tǒng)中被研究得最好的，但神經(jīng)科學(xué)家一直致力于解釋為什么它們包括兩個(gè)獨(dú)立的通路：腹側(cè)視覺流，負(fù)責(zé)識(shí)別物體和面部，以及背側(cè)視覺流，負(fù)責(zé)處理運(yùn)動(dòng)（分別是“什么”和“哪里”通路）。

理查茲和他的團(tuán)隊(duì)創(chuàng)建了一個(gè)自監(jiān)督模型來尋求答案。他們訓(xùn)練了一種算法，結(jié)合兩種不同的神經(jīng)網(wǎng)絡(luò)：第一種稱為ResNet架構(gòu)，用于處理圖像；第二種稱為遞歸網(wǎng)絡(luò)，可以跟蹤一系列先前的輸入，以預(yù)測下一個(gè)預(yù)期輸入。為了訓(xùn)練組合的算法，團(tuán)隊(duì)從一段視頻中抽取一個(gè)序列，比如第10幀開始，讓ResNet逐個(gè)處理。然后，遞歸網(wǎng)絡(luò)預(yù)測第11幀的潛在表示，而不是簡單地匹配前10幀。自監(jiān)督學(xué)習(xí)算法將預(yù)測值與實(shí)際值進(jìn)行比較，并指導(dǎo)神經(jīng)網(wǎng)絡(luò)更新其權(quán)重，以優(yōu)化預(yù)測。

理查茲的團(tuán)隊(duì)發(fā)現(xiàn)，使用單一ResNet訓(xùn)練的人工智能擅長對(duì)象識(shí)別，但不擅長運(yùn)動(dòng)分類。在不改變神經(jīng)元總數(shù)的情況下，當(dāng)他們將單個(gè)ResNet拆分為兩個(gè)，用以創(chuàng)建兩條通路時(shí)，人工智能將其中一個(gè)用于對(duì)象識(shí)別，另一個(gè)用于運(yùn)動(dòng)分類，從而能夠像我們的大腦一樣實(shí)現(xiàn)這些屬性的下游分類。

為了進(jìn)一步測試人工智能，研究小組向其展示了西雅圖艾倫腦科學(xué)研究所（Allen Institute for Brain Science in Seattle）的研究人員此前向小鼠展示的一組視頻。與靈長類動(dòng)物一樣，老鼠的大腦區(qū)域?qū)ｉT用于靜態(tài)圖像和運(yùn)動(dòng)。艾倫的研究人員在動(dòng)物觀看視頻時(shí)記錄了小鼠視覺皮層的神經(jīng)活動(dòng)。

同樣地，理查茲的團(tuán)隊(duì)也發(fā)現(xiàn)了人工智能和活體大腦對(duì)視頻反應(yīng)的相似之處。在訓(xùn)練過程中，人工神經(jīng)網(wǎng)絡(luò)中的一條通路變得更類似于小鼠大腦的腹側(cè)目標(biāo)檢測區(qū)域，而另一條通路則類似于運(yùn)動(dòng)集中的背側(cè)區(qū)域。“研究結(jié)果表明，單一途徑還不足以很好地預(yù)測視覺，因此我們的視覺系統(tǒng)有兩條專門的路徑?！崩聿槠澱f。

人類聽覺系統(tǒng)的模型也講述了類似的故事。6月，Meta AI的科學(xué)家讓·雷米·金（Jean-Rémi King）領(lǐng)導(dǎo)的團(tuán)隊(duì)訓(xùn)練了一種名為Wav2Vec 2.0的人工智能，使用神經(jīng)網(wǎng)絡(luò)將音頻轉(zhuǎn)換為隱層表示。研究人員隱藏了其中的一些表示，然后將其輸入到另一個(gè)稱為轉(zhuǎn)換器的神經(jīng)網(wǎng)絡(luò)組件中。在訓(xùn)練期間，轉(zhuǎn)換器預(yù)測被隱藏的信息。在這個(gè)過程中，整個(gè)人工智能學(xué)會(huì)了將聲音轉(zhuǎn)化為隱層表示——同樣，不需要標(biāo)簽。金說，該團(tuán)隊(duì)使用了大約600小時(shí)的語音數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)，“這大約是一個(gè)孩子在出生后兩年內(nèi)會(huì)獲取的經(jīng)歷”。

讓·雷米·金幫助訓(xùn)練的人工智能，通過模仿大腦的工作方式來處理音頻。

一旦該系統(tǒng)得到訓(xùn)練，研究人員就用英語、法語和中文普通話播放有聲讀物中的部分內(nèi)容。然后，研究人員將人工智能的性能與一個(gè)包含412人的數(shù)據(jù)進(jìn)行了比較。這412人由以上述三種語言之一為母語的人混合組成，他們?cè)诠δ苄院舜殴舱癯上駫呙鑳x中對(duì)大腦進(jìn)行成像的同時(shí)，也聽了相同的音頻片段。金說，盡管功能性核磁共振成像圖像分辨率低且粗糙，但神經(jīng)網(wǎng)絡(luò)和人腦“不僅相互關(guān)聯(lián)，而且以系統(tǒng)的方式相互關(guān)聯(lián)”：人工智能初級(jí)層的活動(dòng)與初級(jí)聽覺皮層的活動(dòng)一致，而人工智能最深層的活動(dòng)與大腦更高層（在該研究中即前額葉皮層）的活動(dòng)一致?！斑@是非常漂亮的數(shù)據(jù)，”理查茲說?！斑@不是結(jié)論，但這是另一個(gè)令人信服的證據(jù)，事實(shí)表明，我們學(xué)習(xí)語言在很大程度上是通過預(yù)測接下來要說的話?！?/p>

未解決的反常問題

不過這種結(jié)論并不是每個(gè)人都信服。麻省理工學(xué)院的計(jì)算神經(jīng)學(xué)家喬?！溈说履兀↗osh McDermott）利用監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)研究了視覺和聽覺感知模型。他的實(shí)驗(yàn)室設(shè)計(jì)了一種合成音頻和視頻信號(hào)，對(duì)人類來說，這些信號(hào)只是難以理解的噪音，但在人工神經(jīng)網(wǎng)絡(luò)中與真實(shí)信號(hào)幾乎無法區(qū)分。這表明即使是自監(jiān)督學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)深層形成的表示，也與我們大腦中的表示不匹配。麥克德莫特說，這些自監(jiān)督學(xué)習(xí)方法“在某種意義上是一種進(jìn)步，你不需要任何標(biāo)記就可以學(xué)習(xí)支持多種識(shí)別行為的表示。不過這種方法仍然有許多監(jiān)督模型的缺陷”。

算法本身也需要更多的改進(jìn)。例如，在Meta AI的Wav2Vec 2.0中，人工智能只能預(yù)測幾十毫秒聲音的隱層表示，這比發(fā)出能夠在感知上區(qū)分的噪聲所需的時(shí)間還短，更不用說一個(gè)單詞了。金說：“要想讓人工智能像大腦一樣工作，依然任重而道遠(yuǎn)?！?/p>

真正理解大腦功能，需要的不僅僅是自我監(jiān)督學(xué)習(xí)。一方面，大腦充滿了反饋連接，而當(dāng)前的模型幾乎沒有這種連接。研究工作的下一步顯然是使用自監(jiān)督學(xué)習(xí)來訓(xùn)練高度循環(huán)的網(wǎng)絡(luò)，并驗(yàn)證這種網(wǎng)絡(luò)中的活動(dòng)與真實(shí)的大腦活動(dòng)相比如何。這是一個(gè)困難的過程。另一個(gè)關(guān)鍵步驟是將自監(jiān)督學(xué)習(xí)模型中人工神經(jīng)元的活動(dòng)與單個(gè)生物神經(jīng)元的活動(dòng)相匹配?！跋Ｍ谖磥?，我們的研究結(jié)果也能通過單細(xì)胞記錄得到證實(shí)?！苯鹫f。

如果這些大腦和自監(jiān)督學(xué)習(xí)模型之間被觀察到的相似性也適用于其他感官，則將更有力地表明，無論我們的大腦有多大魔力，都需要某種形式的自我監(jiān)督學(xué)習(xí)?！叭绻覀冋娴脑诮厝徊煌南到y(tǒng)之間找到了系統(tǒng)上的相似之處，這將表明也許大腦沒有那么多智能的方法處理信息?！苯鹫f，“至少，這是我們想要研究的一種美麗的假設(shè)?！?/p>