漢清講堂 Lectures and Meetings: 管理行為：管理學與AI 的融合 1996 (每章加" 評論與發揮 COMMEMTARIES)；諾貝爾經濟學獎 1978 Administrative Behavior, 4th Edition: Simon, Herbert A. 2024 Nobel Physics Prize Awarded for Pioneering A.I. Research by 2 Scientists

管理行為：管理學與AI 的融合 1996 (每章加" 評論與發揮 COMMEMTARIES)；諾貝爾經濟學獎 1978 Administrative Behavior, 4th Edition: Simon, Herbert A.

https://www.facebook.com/hanching.chung/videos/1686766348836907

Nobel Physics Prize Awarded for Pioneering A.I. Research by 2 Scientists 2024

滑動以放大圖片

關注作者
Herbert Alexander SimonHerbert Alexander…
追蹤

Herbert A. SimonHerbert A. Simon

Administrative Behavior, 4th Edition Paperback – 1997年 3月 1日
作者 Herbert A. Simon (Author)
4.7 4.7 顆星，最高 5 顆星 144 個評分

In this fourth edition of his ground-breaking work, Herbert A. Simon applies his pioneering theory of human choice and administrative decision-making to concrete organizational problems. To commemorate the fiftieth anniversary of the book's original publication, Professor Simon enhances his timeless observations on the human decision-making process with commentaries examining new facets of organizational behavior. Investigating the impact of changing social values and modem technology on the operation of organizations, the new ideas featured in this revised edition update a book that has become a worldwide classic.
Named by Public Administration Review as "Book of the Half Century," Administrative Behavior is considered one of the most influential books on social science thinking, and was referred to by the Nobel Committee as "epoch-making."
Written for managers and other professionals who wish to understand the decision-making processes at the heart of organization and management, it is also essential reading for students in business and management, economics, sociology, psychology computer science, government, and law.

東海大學應用物理系

2024年的諾貝爾物理獎，頒給了John Hopfield跟Geoffrey Hinton，理由是「他們的發現與發明，奠立了類神經網路機器學習的基礎」（for foundational discoveries and inventions that enable machine learning with artificial neural network）。

這個消息的標題要怎麼下呢？「今年的諾貝爾物理獎頒給了人工智慧的研究」，然後就大爆炸啦！

「這哪是物理！」

「物理的不要來搭AI風潮的便車啦！」

「物理界的聖杯被資工拿下了！」

點點點…（大家都好激動喔）

依照本版（過去的）定番「生命宇宙與萬事萬物什麼都馬跟物理有關」，不管什麼研究拿物理獎都可以啦，不過這句也讓許多人很生氣，所以後來就拿掉了，所以今天大家會這麼激動，好像也不令人意外就是了。

所以今天我們決定不去討論合不合理的問題，直接倒退到1982年，看看Hopfield到底做了什麼，至於這個東西算不算物理，瑞典皇家科學院有沒有亂搞，就由讀者自己決定囉。

核心問題是：「記憶是什麼？我們可以用物理機制來理解記憶嗎？」

我們把電腦叫做電腦，就是希望電腦能像人腦一樣，能學習、記憶、舉一反三、觸類旁通。可惜在「人工智慧大爆發」之前，完全不是這麼回事，它只能把東西一五一十的精確記下來，就像我把這篇文章的每一個字元，照著一模一樣的順序，儲存在我的硬碟裡，以及臉書的伺服器上；或是某一張值得紀念的照片，就要把每一個畫素的RGB值全部照順序儲存起來。需要「回想」這篇文章或那張照片時，機器會去硬碟上讀取檔案，拿回跟原來一模一樣的東西。

不過我們的腦子可不是這樣運作的，大腦裡並沒有劃出一塊像硬碟一樣的「資料儲存區」，讓我們把文字或是影像用電腦般精確的方式儲存起來。我們的記憶方式，是藏在大腦近千億個腦細胞靠著「突觸」所連結而成的網路裡，腦細胞兩兩之間的突觸連結強度。不是只有「記憶體」是這樣，大腦的「處理器」的運作功能，一樣是藏在腦細胞之間的突觸連結強度裡。也就是說，跟電腦長相跟功能都涇渭分明「CPU」、「記憶體」不同，人腦的CPU跟記憶體根本就是同一個東西。

Hopfield想要找一個模型，基於神經科學（大腦）的模式來記憶，而且能夠把這種方式移植到積體電路（電腦）上（引自這篇論文的摘要中的一句：A model of such a system is given, based on aspects of neurobiology but readily adapted to integrated circuits.）。他所採用的，是統計物理中，處理複雜問題時的常客「自旋玻璃」系統。2021年諾貝爾物理獎得主Giorgio Parisi的研究，也跟這個系統有關。

粗略的說，腦細胞有兩種狀態：放電或不放電，Hopfield把它對應到磁性粒子的「自旋」，有「向上」（用1表示）與「向下」（用 -1 表示）的兩個狀態（可以想成是一個小磁鐵，N極向上或是N極向下）；神經元之間的突觸連結，對應到兩個自旋之間的耦合強度。由於不知道大腦裡面的神經元是怎麼連結的，所以乾脆先假設所有的神經元通通兩兩相連。真實的大腦當然不是這種「全連結」的型態，不過接下來可以用神經科學的方式處理這個問題。

我們從小到大的成長過程中，大腦所受到的刺激、訊號在神經網路中傳來傳去，最後做出反應的過程中，會改變腦細胞之間的突觸連結強度，一個最簡單的法則就是：兩個相連的腦細胞，如果同步放電，它們之間的突觸連結會變強；如果互唱反調一個放電另一個不放電，則突觸連結會減弱，這稱為「神經可塑性」的「Hebb’s rule」。如何把這個神經科學的法則應用在物理的磁性系統中呢？重點是要能夠「記得東西」。

假設系統中有5個自旋（相當於「一個大腦有5個神經元」），它們兩兩之間一共有20個連結（C 5 取 2）。「一組記憶」的意思就是這5個自旋的特定組態，例如 (1, 1, 1, 1, 1)，5 個自旋都向上。不過我們不能直接用5個自旋的狀態來記住它（像電腦的模式一樣），因為如果我們得記得第二件事的時候，就得要更新自旋組態，這個記憶就被「洗掉」了。因此，我們希望能「利用自旋之間的耦合強度，來記住多種自旋組態」這種類似人腦的模式。

假如這個超簡單大腦只學會「三件事」，例如 (1, 1, 1, 1, 1)、(1, -1, 1, -1, 1) 、(1, 1, 1, -1, -1) 好了，利用這三件事，就可以根據Hebb’s rule來設定自旋兩兩之間的耦合：第一個組態所有自旋都同方向，所以所有的連結都加一分；第二個組態 (1, -1, 1, -1, 1) 中，第一個自旋跟第三、第五個自旋同方向，所以這兩個連結加一分，而第二、四個自旋與它唱反調（向下），所以一、二之間以及一、四之間的連結扣一分，依此類推，就可以把所有的平均連結分數算出來，這就決定了所有的自旋兩兩之間的耦合強度，這些耦合強度就是「學習」了這三件事的成果。

有了耦合強度之後，就可以定義一個能量函數，它的計算方式是這樣：第一個自旋與第二個自旋之間連結的能量為「兩個自旋相乘、再乘上兩者之間的耦合常數、然後取負號」，用這個方式把所有20個兩兩自旋的連結之間的能量算出來之後加總起來，就是系統的總能量。

這其實就是大家熟得不能再熟，專門研究物質磁性的「Ising 模型」的變體版啦！

有了這個之後，我們把系統擴充到100個自旋吧！或是我的「大腦」現在有100個神經元，兩兩之間一共有4950個連結（C 100 取 2），我們把這 100 個自旋排成 10×10的方陣。這個自旋系統一共有「2 的 100 次方」個可能的組態，也就是「127萬兆兆」個，總之超級多就是了，我們只選其中三個來訓練這個Hopfield網路，也就是圖A中，藍色代表自旋向上，黃色代表自旋向下，自旋向上的神經元，剛好排成 0, 1, 2 三個數字的形狀，「訓練」的意思如前所述，就是「決定4950個連結的耦合強度與正負號」。

然後我們就來看看這個網路有沒有「記住」這三個組態，或者說是「記憶」。

測試的方法是：隨便從「127萬兆兆個組態」中丟一個組態當作起點，然後從這100個自旋中隨便挑一個，看看「如果把它的自旋翻轉，能量會降低嗎？」如果答案是，就翻轉它，如果否，則保持不變，然後再任選下一個自旋，重複…經過很多很多次之後，能量會越變越小，當能量無法再下降時就停止，再看看最後的自旋組態長什麼樣子。

首先我們直接把這個網路被訓練的三個組態，也就是向上的自旋排成 0, 1, 2 的形狀，根據上面的規則更新組態，發現它們會停在原來的形狀上（如圖B）！這是廢話吧！如果連這個都錯，我們馬上就判斷這個網路已經「失智」了。

接著就比較有趣了，我們把「有點糊掉，但是還依稀看得出是 0, 1, 2 三個數字」的組態（圖 C）輸入當起始狀態，然後依照上述規則更新組態讓能量降低到不能再降為止，登登！最後的輸出是完美的 0, 1, 2 三個數字！也就是「提示雖然模糊」，但是這個簡單的模型「靠網路中的連結強度重建了這三張圖」！

就像我們看到被水暈開模糊的字跡，我們還是可以辨識出來，因為我們「記得」這些字的形狀。

所以這個網路，可以拿來「修復受損的影像」欸！這不就是現在許多生成式AI的影像軟體的功能嗎？！Hopfield網路太威了吧！

先別急，我們在試試別的，把網路沒學過的「4」這個圖形輸入會如何？結果是，這模型卡在一個看起來「有點像0又有點像2」的地方。這不就是現在大家熱烈討論的「人工智慧的幻覺」嗎？你輸入一個模型沒看過的東西，強迫它輸出的結果就是「從它會的事情想辦法亂掰一個」給你。

所以 Hopfield 網路，的確證明了「用自旋系統來模擬大腦記憶東西、而不是像電腦儲存檔案」這個想法是可行的，只是當年模型太簡單又太小，只能證明概念上可行，無法真的拿來做什麼有用的事。

「這個概念可行」這件事為什麼重要呢？因為我可以用物理上的自旋系統來模擬大腦的智慧，理論上就可以用自旋材料把電路作出來，到時候就會是一種完全不同於現有電腦的全新電腦架構。目前的AI雖然強大，但是要吃的資源實在太多，多到這些科技公司都想自己蓋核電廠了（GW 等級），但是人腦運作所需要消耗的功率不過區區的 20W 左右，大概是一億分之一的能源需求而已。

今天如果這種新架構的電腦在這個研究的基礎上真的做出來了，Hopfield跟Hinton得獎我想就不太會有人講話了，那為什麼不等到那一天再頒獎呢？因為Hopfield已經91歲，不能再等啦！

圖：Hopfield網路的「學習與記憶」（來源：豪豬教授寫程式跑出來的結果）