海扁學習與神經網路的同步化
作者: By Mr. Thursday / 6428次阅读 时间: 2009年11月14日
来源: mmdays.com 标签: Hebb STDP
www.0711zp.com玩转心理学网


我們的大腦複雜無比,裡面的神經網路錯綜複雜,也因此讓我們能夠表現智慧的行為。現今一些人工智慧 (AI: Artificial Intelligence) 的問題,或許可以透過參考人腦的神經網路,來設計一個可以處理視覺、聽覺、文字等資訊的人工智慧系統。除此之外,如果還能夠像人類一樣,能夠自我調整、自我學習,儘量減少人類對系統直接的調整,是最好的了。然而人腦的神經網路,又是如何自我學習、自我調整呢?今天就先和各位分享神經網路調整的兩種方法:海扁學習和STDP,並且另外介紹神經網路同步化 (synchronized)和同多步 (polychrnous)的模型,進一步探討可能的神經網路模式,或許對人工智慧自我學習的方法上,也能提供一些參考!

Hebbian Learning

Hebb (1904 – 1985) 是一位神經心理學家 (圖1 Donald O. Hebb),他對神經網路最重要的一個貢獻,就是 Hebbian Learning ,在這邊我就暫且先翻譯成 海扁學習法。甚麼是海扁學習法呢?海扁學習是在學習甚麼東西呢?首先,讓我們先回憶一下,我們的大腦裡面,是由許許多多的神經元 (neuron) 所組成,神經元和神經元之間,有著連結,叫做神經鍵結 (synapse)。神經元和神經鍵結整個形成一個網路,可以讓神經訊號到處傳遞,就稱為一個神經網路 (neural network)。

我們外在的行為,就是因為神經網路接受了刺激,處理之後產生了反應。然而從刺激到反應之間訊號如何被處理、被轉換,讓我們的行為表現出有智慧的樣子呢?這就牽涉到神經元之間的連結了,因為某些神經元之間連結弱一點,某些神經元之間的連結強一點,我們就可以針對不同的刺激,產生不同的反應,進而表現出智慧的行為。如果我們再縮小範圍來看整個網路裡面的某兩個神經元,接著我們就要問,這兩個神經元之間的連結強度,要怎樣子變強變弱呢?Hebb就針對這個部分提出他的假設,後來也經由許多實驗資料證實,成為海扁學習法了。

所謂的海扁學習法,就是說如果兩個神經元常常同時產生動作電位,或是說同時激動 (fire),這兩個神經元之間的連結就會變強,反之則變弱。原文引述如下:

Let us assume that the persistence or repetition of a reverberatory activity (or “trace”) tends to induce lasting cellular changes that add to its stability.… When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A’s efficiency, as one of the cells firing B, is increased.
根據這個學習法,神經元之間的連結,就根據神經元本身的活動 (firing activities),自行調整連結的強弱,連結的強弱,又回來影響往後神經元接收刺激之後產生的反應,表現在行為上,就產生一種學習的效果。如果舉個例子來說,譬如說「臥冰求鯉」是神經元A,「打雷」是神經元B。臥冰求鯉,和打雷如果常常發生,我們就會把這兩件事情歸類成有某種關聯,即使我們還不知道兩者是甚麼樣子的關聯。

STDP: Spike Timing Dependent Plasticity

在Hebb提出海扁學習法之後,1983年之後由 Henry Markram (圖2 Henry Markram) 從實驗資料中提出一項理論,就是STDP了。STDP英文全名是 Spike Timing Dependent Plasticity,也就是根據神經元活動的「先後順序」,調整神經元之間連結的強弱。STDP 可以說是海扁學習法的一種延伸,海扁學習法提出如果兩個神經元常常一起活動,之間的連結會變強。STDP進一步提出,兩個神經元之間的活動,如果其他神經傳遞的訊息在本身產生活動之前,會加強之間的連結強度。如果神經元本身產生活動之後,才接受到另外一個神經元來的訊號,則會減弱和該神經元連結的強度。

如果延續剛才的例子,如果神經元B本身,用「打雷」來代表。另外一個神經元A用「臥冰求鯉」代表。如果臥冰求鯉之後,突然打雷,我們會說孝心感動天,也就是臥冰求鯉和打雷的連結變強了。如果先打雷,之後才臥冰求鯉,那麼我們可能就不會覺得是孝心感動天了,也就是臥冰求鯉和打雷的連結變弱了。

STDP 影響神經網路的同步性

在 2008年4月的Neuron期刊有一篇paper,是在討論有關STDP對神經網路同步性的影響。首先介紹一下神經網路的同步。所謂同步 (synchronized),就是指神經網路裡面每個神經元,都同時激動 (fire),同時安靜,同時激動,同時安靜。所有的神經元就好像是合為一體一樣,大家一起激動,大家一起安靜。同步化 (synchronized)有哪些特點呢?首先,因為全部的神經元,像是只有一個神經元的活動,因此表現的資訊量變少了。但是另一方面,因為大家的活動都同步了,因此活動的強度變強,在行為上,可以解釋一部分「注意力」(attention)的產生來源。

 

Polychronous 同多步



結語


圖5 STDP示意圖
 圖6 Polychronous示意圖

所以從剛才到現在,我們一一走訪了各種自我學習的理論,包括最早提出的海扁學習 (Hebbian Learning),延伸改良版的STDP (Spike Timing Dependent Plasticity),把神經活動的時間點對鍵結學習的影響考慮進去。之後繼續探討了STDP對於神經網路的同步的影響,也介紹了另一項新的想法,polychronous。這麼多種模型和學習方法,有的是比前一個更加精細的模型,有個則是提供更多學習方式,讓計算神經的研究者可以有更多選擇來模擬人類的神經網路。其實最重要的,是希望能夠粹取神經網路裡面的精髓,可能是一種自我學習的演算法,或是一種會自我調適的網路,希望有一天,可以建造出和人類智力相當的計算機,不管是哪一種應用,對人類的文明進步必定有所幫助!

 

參考資料

     

    www.0711zp.com玩转心理学网
    TAG: Hebb STDP
    «Donald Olding Hebb 19 海布 | Donald Olding Hebb
    《19 海布 | Donald Olding Hebb》
    DRIVES AND THE C.N.S.»