北京冬奧會(huì)正如火如荼，運(yùn)動(dòng)員在賽場(chǎng)上頻頻展現(xiàn)的精彩動(dòng)作也不斷令觀眾驚艷。為什么他們能夠這樣自如地在雪場(chǎng)上騰躍翻飛？他們又是怎樣記住復(fù)雜的高難度動(dòng)作的呢？科學(xué)家們也正在探索其中的奧秘。

2022年2月11日，《Science》期刊以長(zhǎng)文形式發(fā)表了題為《序列工作記憶在獼猴前額葉表征的幾何結(jié)構(gòu)》的研究論文。該研究由中國(guó)科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心（神經(jīng)科學(xué)研究所）、中國(guó)科學(xué)院靈長(zhǎng)類神經(jīng)生物學(xué)重點(diǎn)實(shí)驗(yàn)室王立平研究組、上海腦科學(xué)與類腦研究中心閔斌副研究員和北京大學(xué)生命科學(xué)學(xué)院唐世明課題組合作完成。

研究中，科學(xué)家訓(xùn)練獼猴記憶由多個(gè)空間位置組成的序列，并利用在體雙光子鈣成像技術(shù)記錄獼猴大腦前額葉皮層的神經(jīng)元活動(dòng)。研究人員發(fā)現(xiàn)神經(jīng)元以群體編碼的形式表征了序列中的每一個(gè)空間位置，并在這些表征中發(fā)現(xiàn)了類似的環(huán)狀幾何結(jié)構(gòu)。該研究推翻了經(jīng)典序列工作記憶模型的關(guān)鍵假設(shè)，為理解神經(jīng)網(wǎng)絡(luò)如何進(jìn)行符號(hào)表征這一難題提供了新的見(jiàn)解。

人類大腦無(wú)時(shí)無(wú)刻不在處理序列信息，不論是語(yǔ)言溝通、動(dòng)作實(shí)施還是情景記憶，本質(zhì)上都涉及對(duì)時(shí)序信息的表征。

另一方面，序列的執(zhí)行需要一定的時(shí)間，大腦需要在應(yīng)用時(shí)序信息之前記住整個(gè)序列。比如，我們需要在在問(wèn)路時(shí)記住指路人給出的一系列方向指引，在學(xué)習(xí)新的舞蹈動(dòng)作時(shí)記住老師演示的一連串動(dòng)作模式。

在這些情況下，不僅單個(gè)內(nèi)容需要被記住，它們之間的順序也不能被混淆。認(rèn)知心理學(xué)家們?cè)缭?9世紀(jì)初就開(kāi)始思考序列信息的表征方式，序列信息編碼也被認(rèn)為是人類語(yǔ)言句法結(jié)構(gòu)的前提，機(jī)器學(xué)習(xí)領(lǐng)域?qū)π蛄蟹g的探索更是催生了如今大顯身手的Transformer模型。但是，對(duì)于具有時(shí)序信息記憶的大腦神經(jīng)編碼機(jī)制，我們?nèi)灾跎佟?/p>

獼猴是演化上最接近人類的模式動(dòng)物，其認(rèn)知能力、大腦的結(jié)構(gòu)與功能相比于其他模式動(dòng)物更接近人類，是研究時(shí)間序列等復(fù)雜高級(jí)認(rèn)知功能的最佳模型。因此，為了探究時(shí)序記憶編碼問(wèn)題，研究人員訓(xùn)練獼猴記憶由多個(gè)位置點(diǎn)組成的空間序列。

獼猴空間序列記憶任務(wù)

在任務(wù)中，獼猴面前的屏幕上會(huì)依次閃現(xiàn)三個(gè)不同的點(diǎn)，獼猴需要在幾秒鐘之后將這些點(diǎn)按之前呈現(xiàn)的順序匯報(bào)出來(lái)。在匯報(bào)前的幾秒記憶保持期內(nèi)，空間序列的信息便以工作記憶的形式被暫時(shí)儲(chǔ)存在大腦中。為了記錄大腦神經(jīng)元群體在獼猴進(jìn)行任務(wù)時(shí)的活動(dòng)狀態(tài)，研究人員對(duì)工作記憶的大本營(yíng)——外側(cè)前額葉皮層進(jìn)行了雙光子鈣信號(hào)成像。鈣信號(hào)可反映神經(jīng)元的脈沖放電活動(dòng)，而序列信息表征的關(guān)鍵就在記憶期神經(jīng)元群體的活動(dòng)模式之中。

大腦如何在記憶期內(nèi)同時(shí)表征序列中多個(gè)信息呢？研究人員猜想獼猴的大腦中也有一塊“屏幕”，獼猴可以把出現(xiàn)過(guò)的點(diǎn)記在這個(gè)屏幕上?？扇绻齻€(gè)點(diǎn)同時(shí)在記憶保持期內(nèi)顯示在了這個(gè)屏幕上，每個(gè)點(diǎn)的次序又該如何體現(xiàn)呢？獼猴的大腦里面是否會(huì)同時(shí)存在三塊不同的屏幕？這樣每個(gè)屏幕只需要記下一個(gè)點(diǎn)的信息，而且屏幕之間不會(huì)互相干擾。

研究人員分析了鈣成像獲得的高維數(shù)據(jù)，發(fā)現(xiàn)可以在高維向量空間里面找到每個(gè)次序的信息所對(duì)應(yīng)的二維子空間(subspace)，即找到其對(duì)應(yīng)的“屏幕”。

在每個(gè)子空間內(nèi)，不同的點(diǎn)所對(duì)應(yīng)的空間位置與真實(shí)視覺(jué)刺激的環(huán)狀結(jié)構(gòu)保持了一致。而且，不同次序所對(duì)應(yīng)的子空間接近相互正交，說(shuō)明大腦確實(shí)用到了三塊不同的屏幕來(lái)表征序列信息。

序列記憶在神經(jīng)高維向量空間的表征

為了進(jìn)一步探究大腦是否總是用相同的這幾塊“屏幕”記憶不同類型的空間序列，研究人員對(duì)數(shù)據(jù)做了解碼分析，即運(yùn)用機(jī)器學(xué)習(xí)方法訓(xùn)練線性分類器來(lái)區(qū)分不同次序上的空間信息。比如，用獼猴正確應(yīng)答時(shí)的神經(jīng)元群體活動(dòng)訓(xùn)練解碼器，可以在部分做對(duì)的序列里面取得較好的解碼效果。這些結(jié)果提示了用于編碼次序的“屏幕”是穩(wěn)定通用的。

研究人員還發(fā)現(xiàn)，不同次序的子空間之間共享了類似的環(huán)狀結(jié)構(gòu)，只是環(huán)的半徑大小會(huì)隨次序的增加而減小。一個(gè)可能的解釋是，次序靠后的信息所分配到的注意資源更少，導(dǎo)致對(duì)應(yīng)的環(huán)變小、區(qū)分度降低。這一結(jié)構(gòu)也對(duì)應(yīng)了序列記憶的行為表現(xiàn)，例如我們?nèi)粘Ｉ钪腥绻洃浀膬?nèi)容越多，越往后的信息便更容易出錯(cuò)。

王立平研究員（右）與謝洋博士后（左）討論實(shí)驗(yàn)數(shù)據(jù)

該發(fā)現(xiàn)也可總結(jié)為在群體水平的空間信息編碼幾何結(jié)構(gòu)受時(shí)序調(diào)制的性質(zhì)。有意思的是，這種性質(zhì)并不完全適用于單個(gè)神經(jīng)元水平，而單神經(jīng)元活動(dòng)的增強(qiáng)調(diào)制正是經(jīng)典序列工作記憶模型的關(guān)鍵假設(shè)，提示了序列記憶的編碼應(yīng)更加關(guān)注群體神經(jīng)元性質(zhì)。

該研究第一次在群體神經(jīng)元水平闡釋了序列工作記憶的計(jì)算和編碼原理，也為神經(jīng)網(wǎng)絡(luò)如何進(jìn)行符號(hào)表征這一難題提供了新的思路。上世紀(jì)80年代，人工智能領(lǐng)域就有研究者提出張量乘積這一概念來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)對(duì)符號(hào)結(jié)構(gòu)的表征，但其如何在神經(jīng)網(wǎng)絡(luò)層面自然涌現(xiàn)一直沒(méi)有被很好的解決。序列工作記憶的神經(jīng)表征正好對(duì)應(yīng)了將該符號(hào)表征由對(duì)應(yīng)次序的子空間嵌入到高維向量空間中，同時(shí)支持了下游神經(jīng)網(wǎng)絡(luò)對(duì)符號(hào)結(jié)構(gòu)信息的線性讀取。

王立平研究員、閔斌副研究員、研究助理胡沛烑、博士后謝洋討論課題

著名神經(jīng)科學(xué)和生物物理學(xué)家郭愛(ài)克院士表示，在人類大腦的認(rèn)知活動(dòng)中，如語(yǔ)言通訊，執(zhí)行各種功能，情景記憶等都與時(shí)序信息有關(guān)。例如，唱一首歌，聽(tīng)一段音樂(lè)。一般地說(shuō)，歌是不能倒著唱的。又如在本屆北京冬奧會(huì)上，中國(guó)17歲小將蘇翊鳴在坡面障礙技術(shù)賽場(chǎng)的行云流水般的完美表現(xiàn)也是時(shí)序信息和空間信息的完美融和。在更大的時(shí)空尺度上，我們可以說(shuō)中國(guó)農(nóng)歷的24個(gè)節(jié)氣也是大自然對(duì)序列信息的記憶。

郭愛(ài)克院士這樣評(píng)價(jià)，這篇論文的科學(xué)意義就在于揭示了在工作記憶的時(shí)間尺度上，序列信息在大腦前額葉皮層的神經(jīng)編碼和表征機(jī)制。

中國(guó)科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心王立平研究組博士后謝洋和研究助理胡沛烑為論文共同第一作者，研究助理李俊汝、博士生陳靜文和北京大學(xué)研究生宋衛(wèi)彬在課題的不同階段作出了貢獻(xiàn)。法國(guó)國(guó)家健康與醫(yī)學(xué)研究院Stanislas Dehaene教授、紐約大學(xué)汪小京教授和中科院腦智卓越中心楊天明研究員參與本研究。