約翰·霍普菲爾德 (John Hopfield) 的精彩職業生涯回顧,英文點選標題,下面是簡單總結:
這篇文章是他的自述,講述了他的科研和教學生涯,以及他如何選擇研究問題。霍普菲爾德以自己在不同領域的研究經歷為例,展示瞭如何從物理學轉向生物學,並對機器學習產生重大影響。
下是文章的主要內容總結:
早期生涯:
霍普菲爾德在貝爾電話實驗室開始了他的職業生涯,那裡是電晶體的誕生地。他的博士論文在康奈爾大學完成,之後加入了貝爾實驗室的理論物理小組。
我的第一份全職長期工作是在新澤西州莫里山的貝爾電話實驗室,那裡是電晶體被發明的地方。10年前,那裡的理論物理小組僱傭我作為一名技術員工。我的物理學博士論文在康奈爾大學完成,並且完成了所有其他博士學位要求,我於1958年3月初開始工作。第一天的前半天時間都花在了行政細節上。我和幾位理論家在自助餐廳吃午飯,然後前往我的新辦公室。整理一些書籍和期刊花了一個小時。去五樓的儲藏室找到了一些有線記事本、鉛筆和一把手持式鉛筆刀。我削了幾支鉛筆。
研究選擇:
霍普菲爾德經常面臨“現在該做什麼?”的問題,即如何選擇每天的工作。他傾向於選擇那些可能具有重要意義、新穎性且能夠解決的研究問題。
每個科學家、學者、作家、藝術家......都面臨著這個棘手的問題,即每天要做什麼工作。大多數人透過稍微擴充套件昨天的思路、測量線、情節發展或......來回應。大多數人,如果被迫在更基本的層面上或長期的努力承諾上問“現在怎麼辦”,會嘗試不改變自己一直在快樂地玩耍的沙箱。
跨學科研究:
他的研究跨越了多個領域,包括遺傳學、神經科學和機器學習。他的2019年富蘭克林物理獎章就是對他在生物學問題上應用理論物理概念的認可。
- 對於將理論物理的概念應用於提供對重要生物學問題的新的見解,包括遺傳學和神經科學,在機器學習領域產生了顯著影響,這是電腦科學的一個重要領域。(富蘭克林研究所2018年)
這些是因為我經常透過重大的方向改變來回應“現在怎麼辦”的問題。更科學的引文對於富蘭克林獎表明我的兩篇研究論文是我獲得提名的核心。這篇文章描述了我是如何偶然遇到這些論文所解決或闡明的研究問題的。
選擇自由
選擇問題是一個人在科學上取得成就的主要決定因素。我在科學問題上的注意力通常比較短暫(請注意,全能型人才和半吊子之間有一條微妙的界線,我經常越界)。因此,我總是在尋找更有趣的問題,要麼作為我現在的問題得到解決,要麼被我歸類為在我的特殊才能下無法解決的問題。
什麼是物理學?
對我來說——成長過程中父母都是物理學家——物理學不是學科。
教育,廣義上理解 我成長過程中拆卸東西,看它們是如何工作的,修理腳踏車,在廚房裡探索化學(或者更好的是,在地下室裡看不見的地方),製作可飛行的模型飛機,電晶體收音機和簡單的無線電,玩電池和線圈,並且學會用我的手思考和操縱真實的物體。我最早的記憶之一是一把小螺絲刀,它被放在我母親使用的腳踏式縫紉機的抽屜裡。這是用於小的縫紉機調整的,但我被允許在房子裡的任何東西上使用它——只要我把它放回抽屜。如果我偶爾不能重新組裝我感興趣的物體,我父親會在晚上耐心地這樣做。我對成為物理學家的早期概念是一種有點神秘的想法,即在更抽象的層面上繼續這種頑皮的探索!
原子、對流層、細胞核、一塊玻璃、洗衣機、我的腳踏車、留聲機、磁鐵這些都是偶然的主題。
核心思想是世界是可以理解的,你應該能夠把任何東西拆開,理解其組成部分之間的關係,做實驗,並在此基礎上發展出對其行為的量化理解。
物理學是一種觀點,認為我們周圍的世界,透過努力、巧妙和足夠的資源,可以理解為一種預測性和相當量化的方式。作為一個物理學家是對追求這種理解的奉獻。
物理學家致力於追求對世界的可預測和可量化的理解。
教育成長
在我父親的一代,物理學當然不涉及高薪。我父親在1929年去了柏林,獲得了古根海姆獎學金,計劃在1930年返回美國從事學術工作。然而,1929年的華爾街崩盤干預了,取消了所有的大學招聘。相反,他接受了一系列的臨時職位,包括在1933年芝加哥世界博覽會上設立物理展覽,我在那裡出生。他最終在Libby Owens Ford玻璃公司找到了一份工作,在那裡他研究了鋼化玻璃和熱玻璃,這兩種材料都變成了材料科學問題。
我的高中化學老師非常出色,而我的物理老師(回想起來)甚至缺乏對力學和電學的基本原理的理解。因此受到影響,當我在大學申請上列出潛在的專業時,我寫下了“物理或化學”。
最終,我必須選擇一個特定的研究領域。所以在我的斯沃斯莫爾大學生涯晚期,我開始尋找研究生院的物理學,並考慮我可能專業化的領域。我的教養特別集中在我周圍的世界的物理學上,而不是核物理學或宇宙物理學,而是日常世界及其技術的物理學。我最終去了康奈爾大學,而不是普林斯頓,因為在1954年,康奈爾似乎有一個部門對一個叫做固體物理學的領域感興趣。
它由一些有固體狀態標題的課程定義,一個固體狀態研討會,兩個在該領域進行理論研究的教員,以及大約四個實驗方向。實驗問題包括低溫熱導率、鹼金屬鹵化物中的顏色中心、絕緣體的紫外光譜和X射線吸收。
當時唯一研究4He超流性的一個人肯定不在固體物理學的定義範圍內。唐納德·霍爾庫姆,最近從伊利諾伊大學來到,有一臺瓦里安核磁共振裝置,並且處於邊緣。該系的其他既定興趣是核物理學和粒子物理學、X射線和宇宙學/天體物理學。
在我的康奈爾大學第二年中期,我接近理論物理學家阿爾伯特·W·奧弗豪澤,問他是否會監督我的論文,並幫我找到一個論文問題。透過課程和解決問題,我正在迅速獲得理論物理學的工具,但我不知道如何找到一個合適的研究問題。找到一個好問題不是(即使在今天也不是)在課程或研討會上討論的主題。
幸運的是,阿爾伯特他有一份長長的有趣的謎題清單。這些通常是以一種悖論的形式出現的:“特定現象在固體物理學中的簡單經典理論分析給出了結果A,而實驗給出了完全不同的結果B”。例如,被引用最多的論文以奧弗豪澤作為作者的開頭兩句話是:
離子晶體的介電常數和可壓縮性的簡單經典理論導致了兩個關係,從這些關係中消除了任意引數,被稱為Szigeti關係。兩者都不滿足資料,表明這些簡單理論是不充分的。(B. G. Dick 和 A. W. Overhauser,1957年) |
這篇論文總結了奧弗豪澤的第二個學生蓋爾·迪克的博士論文,描述了消除理論與實驗結果之間差異的物理學。
在大多數悖論中,奧弗豪澤自己並不知道是什麼導致了常識性理論方法給出的答案與實驗現實之間的衝突。我選擇了一個與晶體中激子的輻射壽命有關的悖論,衝突在理論本身之內。天真的理論給出了零或無窮大,這兩者似乎都沒有意義。這成了我的問題,奧弗豪澤從未研究過。他作為傾聽者和批評家非常支援,當我去看他的時候,但找到方向和解決理論問題完全是我的問題。他給我的偉大的天賦是擁有一個有趣的問題,以及對研究和進展的完全責任。
有一天,他簡單地告訴我,我最好開始寫下我的理解,這就是我博士研究的結束。我的論文(Hopfield,1958年)中寫的單篇論文(和單一作者)由於鐳射器、激子凝聚態和現代光子學仍然被高度引用。
第一次真正的就業
有了理論固體物理學的論文,我進入了就業市場。學術界還是工業界?答案從我聽過的固體物理學研討會的演講者那裡很清楚。AT&T的貝爾實驗室(Murray Hill)和通用電氣(Schenectady)在固體物理學方面有著比任何大學都更廣泛、更有活力的研究計劃。我從這些實驗室的訪問回來,對工業界追求的領域和兩個實驗室相對自由的研究氛圍感到非常興奮。我最終會去貝爾實驗室,主要是因為它的實驗室行政結構,它已經被重新設計,所以有一個小的理論物理小組並沒有直接分配到像磁性或半導體這樣的子領域。相比之下,GE在它的固體物理學主題子組中各有兩位理論家。
理論家們都在研究與激勵奧弗豪澤類似的問題:
- P. W. 安德森剛剛寫了他的“某些隨機晶格中擴散的缺失”論文。這將構成他的諾貝爾獎的基礎,並是被激勵去解釋費赫在摻雜矽中的一些悖論電子自旋弛豫結果。
- 梅爾文·拉克斯正在努力制定半導體二極體中的噪聲問題,使其不違反熱力學第二定律。(在簡單的二極體-電阻電路中,使二極體整流特性導致電容器上的平均電荷為零非常困難。)
- 康耶斯·赫林正在發明“聲子拖曳”來解釋摻雜半導體中異常巨大的熱電功率。
- 格雷戈裡·萬尼爾正在研究“斯塔克梯子”及其在高電場下可能的觀察。
對我來說,回想起整個企業,最引人注目的是研究主題是固體物理學的通用問題。理論努力通常基於詳細的實驗,但它們並不是由AT&T的材料科學和裝置需求特別驅動的。當然,貝爾實驗室的大部分努力是針對後者的問題,但理論小組(子部門1111)是不同的。
赫林閱讀了所有的固體物理學文獻,甚至親自翻譯了一些蘇聯的文獻。他每月開一個期刊俱樂部,挑選他閱讀中最有趣的內容,分配給相關實驗室的科學家進行介紹。很少有人拒絕這樣做。這些高度爭論性的會議對我的擴充套件教育和作為介紹貝爾實驗室構成的極其多樣化的社會是非常美妙的。(banq注:蘇聯這些科學家的表演成果被美國收穫,自己卻無法獲利而崩潰,這是隻有表演沒有收穫的悲劇)
康耶斯也是理論小組的負責人,看到我掙扎著確定下一個要研究的問題。他建議我拜訪實驗學家,以我自己的感覺找到有趣的難題所在,我仍然記得許多這些訪問。
羅伯特·J·柯林斯向我介紹了在CdS中的“邊緣發射”發光,這為我第二篇論文提供了主題。
對吉姆·蘭德的子部門的訪問,該子部門完全致力於ZnO,讓我遇到了化學家大衛·G·托馬斯,我們隨後的合作為我提供了未來幾年的必要難題。然而,當時沒有人能猜到光和化合物半導體的結合會有它現在享有的重大技術未來。
職業轉變:
霍普菲爾德在1968年離開了凝聚態物理領域,轉而研究生物學。他在劍橋大學和普林斯頓大學繼續他的研究,並與實驗學家合作,探索血液蛋白和核酸。
1968年,我在凝聚態物理學中用完了我似乎有用的特殊才能的問題。我去劍橋大學的卡文迪什實驗室做了半年的古根海姆研究員,希望找到新的有趣的途徑,但對我來說幾乎沒有什麼。
劍橋大學回到普林斯頓大學和我在貝爾實驗室半導體小組的諮詢,我遇到了化學家羅伯特·G·舒爾曼,他正在對血紅蛋白進行高解析度核磁共振實驗。
他告訴我關於四個鐵原子在廣泛分離的血紅素基團中心的合作氧結合。一個令人難以置信的物理學技術的多樣性被用來研究這個分子。核磁共振,電子順磁共振,光學光譜,共振拉曼散射,X射線結構研究,中子散射,穆斯堡爾光譜——所有聰明的固體物理學實驗技術似乎都與血紅蛋白有關。
對於一段時間,血紅蛋白是物理學家的“氫原子”,用於理解蛋白質的功能。舒爾曼希望理論上的陪伴來幫助解釋他的核磁共振結果,透過這些結果他希望理解生理上重要的合作氧結合的物理基礎。他知道我透過與貝爾實驗室(實驗)化學家大衛·托馬斯的互動所取得的影響。所以,他非常努力地試圖讓我對血紅蛋白問題感興趣,以及這類研究將生物學推向成為一個“硬”科學的潛力。
知道我的才能,生物學對我來說是個好地方
生物學研究:
他在生物學領域的研究包括血紅蛋白、tRNA和蛋白質合成的動力學問題。他的研究揭示了生物系統中的校對機制,這對於理解生物合成的高準確性至關重要。
血紅蛋白為我提供了一個從凝聚態物理學到生物物理學的簡單入口。結構和低能激發如何導致實驗物理屬性是遊戲的名稱,就像在固體物理學的許多領域一樣。生物學給科學帶來的一個獨特的概念上的補充是“功能”的概念;有一個小的屬性子集對生物學非常重要,進化的選擇塑造了生物系統,使它們運作良好。“功能”一詞特別生物學,出現在生物學和應用科學/工程中,這些領域是為了人類的利益而追求的,但與純物理學、純化學、天文學或地質學無關。
我與舒爾曼小組互動了幾年,以理解導致血紅蛋白平衡氧合作用的合作性的相互作用能量的描述。貝爾實驗室對此冒險相當同情。我的諮詢從半導體組轉移到生物物理學組,只是有人諷刺地評論說,貝爾今年幾乎不能提高我的諮詢費,因為我正在從一個我是世界專家的領域轉移到一個我一無所知的領域。
這是一個公平的評論。我們在解釋各種實驗中取得了一些成功。這個小組中當時不為人知的一個成員是正夫·小川,20年後,他因利用他在核磁共振和血紅蛋白方面的專業知識發明功能性磁共振成像(fMRI)而成名。fMRI可以成像大腦如何處理資訊,即大腦的功能。
舒爾曼貝爾實驗室小組接下來將其努力從蛋白質Hb轉移到核酸tRNA:由於沒有辦法將這樣的實驗與功能問題聯絡起來,我對小組對tRNA的實驗失去了興趣。然而,我確實參加了許多來自外部演講者的研討會,他們描述了tRNA的功能性生物學方面,而對其結構知之甚少。45年後仍然留在我記憶中的一個是由赫伯特·魏斯巴赫關於蛋白質合成的。充滿了對任何物理學家來說都難以記住的太多細節,它包括了一個有趣的電影,學生們扮演氨基酸、RNA、蛋白質等的角色,最後在磷酸和tRNA學生消失在虛無中的同時,形成了一個氨基酸學生的鏈。我得到的總體印象只是蛋白質合成過程中似乎有大量高能分子的浪費。演講者只是描述了一個線性生化途徑來組裝蛋白質,並沒有提到我我這個物理學家對能量浪費的看法。
與此同時,我在普林斯頓大學教授我的第一個生物物理學課程,這是為物理學研究生設計的。我在血紅蛋白上花費了不合理的時間。不幸的是,血紅蛋白是生物學問題的糟糕介紹,因為它最明顯的物理學問題是一個平衡問題;而生物學的本質是一個遠離平衡的驅動系統的動力。
大約五週後,我坐下來一個晚上,決心開發一個理論處理任何生物學動力學問題。唯一的先決條件是它需要在水平和方式上處理,只需要量子力學的知識和基礎的固體物理學。我很快意識到,從物理學的角度來看,生物學中最簡單的化學反應是電子轉移,幾乎沒有核運動,沒有化學鍵的重新排列。光合作用的早期階段和氧化磷酸化過程中的一些重要過程就是這樣的性質。所以那個晚上我確定了下週的主題,並粗略地概述了電子轉移速率問題的解決方案。
需要稍微休息一下,我透過三週的標準生物物理學講座來跟隨電子轉移講座,這些講座涉及細胞膜和霍奇金-赫胥黎方程,用於沿神經細胞軸突傳播神經衝動。我的陳述中沒有原創性或創造性,但講座準備開始讓我在神經生物學方面的基礎,這後來證明是非常寶貴的。
對於課程的最後一週,我努力描述一個涉及tRNA的動態(即動力學)問題。選擇這類分子主要是因為它是我除了血紅蛋白之外唯一知道的生物分子系統。tRNA在將氨基酸組裝成蛋白質中起著中心作用,遵循mRNA上的指令。只需要一點點物理學思考就可以得出結論,這在部分上是一個化學動力學問題。
儘管對我的無知,我轉向了準確製造蛋白質的動力學問題,作為最後一週的講座。大多數描述蛋白質合成的生物化學研究和教科書都是基於化學反應的“鎖和鑰匙”描述,錯誤的反應是不可能的,因為“錯誤的氨基酸不適合”。理解生物化學通常被視為一個問題,即繪製“發生了什麼”的地圖,而忽視了“不發生什麼”(幽暗之處不考慮的,燈下黑)。
從物理學的角度來看,大多數生化反應在室溫下都是可能的。將只有與類似但不同的反應相關的不同能量,因此有不同的Boltzmann因子決定動力學速率,這種區分實際上基於能量差異。
“生物化學家”的“A發生而B不發生”應該被替換為“A以~exp(-EA/κT)的速率發生,B以速率~exp(-EB/κT)發生。壞速率與好速率的比率必須是exp(-(EB-EA)/κT),其中EB-EA是歧視能量,一個正數。
我設法整理了一些講座,表明對於準確的生物合成,一個化學反應網路不應該被推動得太快。但這些講座沒有原創的構造,是課堂材料,不是研究。
在講座準備過程中,我對兩種非常相似的氨基酸(纈氨酸和異亮氨酸)進行了粗略的固體物理學型別的估計,它們只在一個甲基基團上有所不同。我計算了大約1/50的最大能力,任何“合理的”異亮氨酸結合位點都能區分錯誤地使用較小的分子纈氨酸。
不幸的是,當時生物學蛋白質合成的實驗數字(來自物理學家R. B. Loftfield(1963年)的優雅工作)大約是1/3000。所以我把估計技巧從一領域轉移到另一個領域的能力就這樣了。
學期結束後,這個問題仍然困擾著我。一個月後,我意識到可能真的有一個悖論。我的估計可能是大致正確的,Loftfield也可能是正確的。
準確性水平可能不是由一個簡單的歧視能量決定的。在宏觀層面上,打字員可以校對文件,因此產生一個最終副本,在原始打字中大部分錯誤已經被糾正。
解釋準確性悖論的一種方式是細胞生物學包含一種方法,可以在分子水平上校對生化反應,從而從固有的基本準確性獲得一個準確性(1/50)*(1/50)=~1/2500。
可能存在一個研究問題,即尋求理解是否體內生物化學存在著這種校對?我們(即生物化學家)只是沒有注意到這個事實,因為我們不知道要尋找。
在接下來的兩個月裡,我找到了基於已知生化細節的蛋白質合成校對的合理方案,並描述了可以作為校對發生的臨界測試的實驗型別。對於將一個氨基酸新增到生長中的蛋白質,使用了一種特殊的複合體,其中包含一個GTP分子,一個tRNA分子和一個氨基酸。
當時的正規化將描述這種GTP使用和新增的氨基酸之間的正確生物學化學計量比為1:1。任何從這個整數比率的偏差都應該歸因於實驗研究中的缺陷。我的預測是化學計量不是整數:應該存在滑動,化學計量略大於1:1,即使是新增正確的氨基酸,對於新增錯誤的氨基酸,比率應該是大的——肯定大於10:1。我不知道如何設計一個真正的實驗來測試這個想法。
同樣的基本反應方案用於DNA合成、tRNA充電(即將氨基酸連線到其特定的tRNA)和組裝蛋白質。我的研究論文(J. Hopfield,1974)描述了這三種非常不同的化學反應的反應方案,作為不同的方式來結合一個簡單的統一原則。雖然在1974年的論文之前,對DNA合成的一些“編輯”描述已經被理解,但校對和歧視的一般統一能量和動力學方面還沒有被認識到。
即使在發表兩年後,這篇論文仍然沒有很多分子生物學讀者。
- 為何沒有人認可?因為生物化學家透過細節看過程,如果描述中的任何細節都是錯誤的,他們會拒絕一個想法,他仔細糾正了我在化學命名法中所有無知的錯誤。這是因為這是我寫過的第一篇包含“核苷”或“合成酶”或“異亮氨酸”甚至“GTP”等詞的論文。
- 後來有了讀者的原因是:布魯斯·阿爾伯茨(後來成為美國國家科學院的院長)對最終手稿的幫助。
演講結束時的第二個問題來自羅伯特·C·湯普森,一個我完全陌生的人。他只是問:“你想聽到這樣的實驗結果嗎?”然後他繼續描述他的實驗(尚未發表)和測量的化學計量比率,這些比率完全支援我的校對想法。他接著描述了鏈黴素如何透過消除校對來殺死細菌,導致蛋白質中有如此多的錯誤,以至於細菌無法生存。(R.C. Thompson 和 P. Stone,1977年)這是我科學生涯中最大——也是最愉快的——驚喜之一。
1974年的論文對我來說在處理生物學問題的方法上很重要,因為它讓我思考生物學中反應網路結構的功能,而不是分子本身的結構(banq注:1+1>2的原因,複雜系統的湧現)。
- 一個網路可以“解決問題”或具有功能,這是單個分子和線性路徑所無法做到的。
- 六年後,我在思考神經網路而不是單個神經元的性質時,概括了這種觀點。
現在怎麼辦???繼續尋找問題。。。
神經科學:
霍普菲爾德對神經科學的興趣始於他在麻省理工學院的神經科學研究計劃(NRP)的參與。他試圖找到一種方法來理解大腦是如何工作的,特別是大腦如何透過動態系統吸引子來計算。
我在1977年秋天在那裡教授物理生物化學課程。期待一個網球夥伴的電話,我匆忙接了電話,結果發現是弗朗西斯·O·施密特打來的。他運營著麻省理工學院的神經科學研究計劃,將在下週三過境普林斯頓,非常感激我能給出半小時的見面時間。
接下來的一週,弗朗西斯·O·施密特來到我身邊。他描述了一個名為神經科學研究計劃的實體,主要在波士頓舉行小型會議,由20名該計劃的常駐成員和20名訪客參加。訪客被廣泛選擇,但通常選擇的重點是特定會議正在考慮的特殊主題。施密特邀請我去下一個會議發言。我建議我的生物化學課程中的一個物理研究生,他寫了一篇關於神經編碼的數學論文,可能會發表更有趣的演講,這個建議被施密特迅速拒絕。我告訴他我對神經科學(他幾年前創造的一個詞)一無所知。他說那沒關係,“只要談談你感興趣的”,所以我談到了動力學校對和細胞生物合成大分子的準確性問題。
觀眾——神經學家、神經內分泌學家、心理學家、免疫學家、電生理學家、神經解剖學家、生物化學家——對我所說的話理解甚少。但這並不重要。弗蘭克想要增加一個物理學家成員到小組中,希望以某種方式將具有不同科學經驗的人帶入他的學科,並可能幫助它變得更加綜合和更具預測性的科學。
弗蘭克是一個信徒,他以狂熱者的信仰相信,不知何故,科學將能夠彌合分子、大腦、思想和行為之間的差距。他從普林斯頓相對論家約翰·A·惠勒那裡得到了我的名字,他(出於我從未理解的原因)一直是我的堅定支持者。惠勒還主持了將我作為物理學教授帶到普林斯頓的搜尋委員會,因為我在固體物理學方面的研究。這是一項安排好的作品。在弗蘭克的領導下,小組投票讓我成為一名成員。
我被會議上的演講所吸引。思想如何從大腦中出現對我來說是人類所提出的最深刻的問題。絕對是一個問題。它正被這個NRP俱樂部的科學家以狹窄的切片——作為問題——追求,他們具有不同的才能和巨大的熱情。但在我看來,這個科學家小組永遠不可能解決這個問題,因為解決方案只能以適當的數學語言和結構來表達。當時參與NRP的人中沒有一個在數學領域輕鬆駕馭。所以我加入了小組,希望定義、構建或發現我可以用理論物理學的工具做的事情。
我的神經生物學基礎教育來自於參加半年度的NRP會議,坐在他們各自領域的世界專家旁邊,他們會耐心地向我解釋他們對正在發生的事情的解釋。儘管施密特盡了最大努力讓專家們廣泛地演講,並以綜合的方式描述神經科學,但他通常在這項事業中失敗了。所以我的介紹包括了一系列不連貫的專家觀點,關於從靈長類動物神經解剖學到昆蟲飛行行為、電生理學在失用症中的應用、大鼠海馬體的學習、阿爾茨海默病、鉀通道、人類語言處理等的實驗神經科學,以及來自神經科學其他角落的專家的解釋性評論。
這些評論通常讓一些人對其他子領域的研究細節感到不耐煩,但科學永遠是這樣,而且無論如何,我尋找的不是細節。我給自己的任務是找到一個綜合的觀點,試圖以某種方式超越從靈長類動物神經解剖學到昆蟲飛行行為、電生理學在失用症中的應用、大鼠海馬體的學習、阿爾茨海默病、鉀通道、人類語言處理等的講座的不連貫細節,找到我可以有用地用理論物理學工具做的專案。
大腦和機器透過遵循演變的狀態軌跡“計算”
簡單的數字計算機透過從機器的初始狀態開始獲得答案,這個初始狀態由程式和一些資料隱含地描述。然後它們一次又一次地改變狀態,在計算機時鐘的每一個滴答中,根據內建在機器硬體晶片中的簡單規則。最後,狀態改變停止了。一個結束狀態已經達到,規則不再產生進一步的狀態改變。程式化問題的答案是現在包含在一些特定的記憶體暫存器中的資訊。
細胞自動機是非常特殊的數字計算機,在20世紀70年代末短暫地出現在太陽下。它們涉及一個等效的“細胞”陣列,就像棋盤上的方格(忽略顏色)。每個“細胞”都有一個內部狀態,它隨著時間以確定性的方式變化,根據只涉及那個“細胞”的內部狀態和其鄰近“細胞”的內部狀態的規則。所有細胞都是等效的,並且同時改變它們的內部狀態。
我第一次聽說細胞自動機是在閱讀《科學美國人》上關於康威的“生命遊戲”時,我推測這種基本思想的概括或修改可能有助於理解大腦是如何運作的。
- 我推測,如果細胞狀態轉換規則被做得不那麼嚴格結構化,更像提供輸入的突觸連線網路,並且如果同步時間被放寬以反映神經訊號傳播和處理的延遲,那麼可能有可能彌合數字計算機和神經系統之間的概念鴻溝。
1978年秋天,我開始嘗試“生命遊戲”的解釋,使其更像神經生物學,希望看到它透過遵循狀態軌跡來“計算”。不幸的是,我無法進行必要的數學運算來跟蹤任何這種模型的演變狀態軌跡。我需要編寫一個程式來模擬這樣的系統,並且進行計算機實驗,以深入瞭解各種模型。很難想象37年前大學計算機和計算機實驗室的原始狀態。機器很慢,機器時間很昂貴,向計算機輸入主要是透過打孔卡,輸出寫在龐大的印表機上,電視型別的顯示終端很少見。計算機能力以微處理器中的電晶體數量來衡量。
普林斯頓的通用計算和普林斯頓的高能物理小組的計算機(物理系唯一的部門計算機)都是以數值計算模式執行的。如果你猜測模型的結構,快速而輕鬆地探索這些猜測在數字機器上的後果,並希望找到有趣的神經活動演變模型,這個想法對普林斯頓和貝爾實驗室的計算機設施和環境來說是陌生的,我也隸屬於貝爾實驗室。
鑑於我的計算環境,我幾乎沒有取得進展。我想追求的基本想法是,任何計算機,無論是數字機器還是大腦,都透過從起點(程式和資料)到終點的動態軌跡來操作,軌跡需要穩定,以抵禦噪聲和系統不完美,以可靠地到達答案。
我確實在NRP上做了一個關於神經生物學作為透過動態吸引子計算的系統的演講。但是,既沒有計算機模擬,也沒有數學來支援這個觀點。一位年輕的訪客在演講結束後來找我,告訴我這是一個美麗的演講,但不幸的是,它與神經生物學無關。其他人忽略了它。諷刺的是,我2015年的斯瓦茨獎(來自神經科學學會的計算神經科學獎)實際上是為了這個基本想法。但當然,計算神經科學這個術語的存在意味著現在該領域有許多數學上老練的科學家,而在1979年,這在該領域是非常罕見的。
1978年,加州理工學院校長哈羅德·布朗辭職成為國防部長,加州理工學院再次在市場上尋找物理學家校長。他們轉向馬文·戈德伯格,一位傑出的理論物理學家,他曾擔任普林斯頓物理學的主席。加州理工學院,有德爾布呂克在生物學系的教員,一直在努力加強生物學和物理學之間的聯絡。戈德伯格看到了我在普林斯頓物理學系努力做生物物理學的掙扎。所以在他的加州理工學院校長的蜜月階段,他說服了他的教員提供給我一個聯合化學和生物學的捐贈教授職位。加州理工學院物理系,由默裡·蓋爾曼和理查德·費曼的思想主導,當時對我這種方向的教職可沒有任何興趣。
1980年2月。加州理工學院的量子化學計算設施是一個極好的環境,可以嘗試模型。它支援多使用者實時計算,有CRT顯示器和直接鍵盤輸入,沒有編譯延遲。我的研究是對這種設施預期目的的濫用,但沒有人看。它迅速變得明顯,前一年關於大腦計算與常規細胞自動機關係的推測是無用的。
放棄一個已經培養了一年的錯誤的主意是出奇的困難。所以,而不是完全放棄,細胞自動機被變成了一個隨機的準神經網路。細胞自動機的規則結構被放棄,轉而使用隨機選擇的連線。複雜的狀態轉換規則被一個受生物學啟發的規則所取代。但是,經過一年的模擬和數學,我終於放棄了隨機網路。相反,為什麼不嘗試一個具有特定結構的網路?
概念上最簡單的任務,並且適合透過動態系統吸引子計算的基本計算正規化,是聯想記憶。
- 聯想記憶是相互的——看到某人讓你想起了他們的名字(至少在我年輕時是這樣),聽到他們的名字讓你想起了他們的長相。
- 這一事實可以透過使連線成為相互的來表達在網路結構中。
- 這樣的網路的數學與負責固體中所有複雜形式的磁性的“自旋”系統的數學密切相關。
我透過與貝爾實驗室的理論物理學的聯絡,對這些系統有所瞭解。突然之間,有了一個神經生物學和物理學系統之間的聯絡。
神經網路:
他在1982年發表了一篇關於神經網路的開創性論文,這篇論文對後來的機器學習和人工智慧研究產生了深遠影響。
我先前同意參加一個名為“從物理學到生物學”的研討會,該研討會由凡爾賽的Institut de la Vie舉辦,時間是1981年夏天。這是一個不同尋常的聚會,由Maurice Marois組織,他是一位夢想加強不同科學家之間聯絡的醫生。他很有說服力,能讓贊助商信服,對諾貝爾獎得主也很奉承,並且在凡爾賽宮的鏡廳裡舉辦了一個豪華而矯揉造作的會議,演講者們自己則住在特里安農宮酒店。我很高興(如果有點腐敗)接受了這次全包的巴黎之行的邀請。我放棄了之前選擇的主題,轉而基於最近的工作報告,這使得凡爾賽的演講成為這個主題的第一次公開演講。我從未遇到過任何記得聽過這次演講的人。
我寫的第一篇關於這項研究的手稿是一份廣泛的報告,介紹了我最近的研究成果及其知識背景,計劃用於會議論文集。當組織者放棄了書籍專案時,我開始將我的草稿轉換成一篇研究文章。我有兩個目標受眾,物理學家和神經生物學家,所以立即想到了在PNAS上發表:神經生物學家閱讀PNAS,可能會看到這篇文章。。而且,儘管在那個時代很少有物理學家定期閱讀PNAS,但至少PNAS通常在物理圖書館中都有。
作為一個科學院成員,我可以發表這樣的論文,而不需要任何審查(現在這已經不可能了,這是對科學出版和原創性推廣的可悲評論)。將我的物質提煉成PNAS是一個挑戰,因為有一個絕對的5頁限制,兩個受眾要解決,還有很多要說的。
關於非小說寫作,歐內斯特·海明威評論道:
“如果一個散文作家對他正在寫作的內容瞭解得足夠多,他可能會省略他知道的東西,而如果作家寫得足夠真實,讀者就會像作家已經明確表述了它們一樣,對那些東西有同樣強烈的感覺。”(E. Hemingway,1932年)
PNAS的長度限制迫使我在選擇說什麼和省略什麼時非常挑剔。如果海明威是一位物理學家,他會認識到這種風格。事後看來,幾乎明顯的省略可能增加了論文的影響力。未陳述的成為了邀請他人新增到主題的邀請,從而鼓勵了一個貢獻者社群來研究這樣的網路模型。
這篇1982年的PNAS論文是我首次使用“神經元”一詞的出版物。它為許多物理學家和電腦科學家進入神經科學研究提供了一個入口。
進一步的工作將這些網路與聯想記憶之外的許多重要應用聯絡起來。這是我寫過的被引用最多的論文《基於大量訊號連線的集體決策電子網路》(6800次引用)。即使是AT&T也很高興(我在這段時間裡一直與貝爾實驗室有兼職關係),因為這項研究也產生了一個非常頻繁引用的專利。
在引言中,我描述了選擇要做什麼工作是研究生涯中最重要的因素。這篇文章的其餘部分描述了導致兩個“問題”的經驗和調查路徑,這些問題被很好地定義,成為了主要的研究領域。在每種情況下,都有一個緩慢的個人積累,由故意的步驟和偶然的事件的影響塑造了我看待科學世界的方式。這種積累將塑造我在可能性路徑的下一個岔路口的選擇。
科研哲學:
跨學科研究,霍普菲爾德認為,選擇研究問題是科研生涯中最重要的因素。他鼓勵科學家們勇於提出自己的問題,即使這些問題可能看起來與他們的專業領域不完全相關。
一系列不可預測的事件讓我從童年時期受到父母物理學家的“世界作為物理學”的影響,到凝聚態物理學,到康奈爾和貝爾實驗室,從那裡到蛋白質的化學物理學,最後到教授普林斯頓大學課程,我對此知之甚少。我需要為我的學生們準備講座主題。
我在科學上所做的一切都完全依賴於專家的實驗和理論研究。我非常尊重他們,特別是那些願意嘗試與不是他們領域的人交流的人。
banq總結
- 霍普菲爾德的大部分精力是在確定要解決什麼問題,而且跨學科尋找問題。這是科學創新的幽暗之處。
- 科學家是從邏輯悖論中尋找突破,蒼蠅不叮無縫的蛋
- 霍普菲爾德從物理學家跳到生物研究,這種科學研究是駭客研究法,直接跳到其他領域上下文,發表論文,結果整篇論文因為一些細節錯誤被專業人員完全否定。