OpenAI聯合創始人Andrej Karpathy(安德烈)解釋了新的計算正規化:
我們正在進入一個新的計算正規化:
- 大型語言模型像CPU一樣工作
- 使用令牌而不是位元組
- 使用上下文視窗而不是RAM。
這就是大型語言模型作業系統(LMOS)
- 生成式人工智慧工具現在的功能就像定製的CPU,
- 出租RAM用於文字到影像或文字到影片等任務。
最終,先進的LMOS將根據它們透過建立在它們之上的GenAI應用程式提供的功能來區分。
它凸顯了人工智慧領域的一個關鍵轉變。現在,我們正在擺脫單一的、“一刀切”的人工智慧開發方法,轉向更加模組化和專業化的方法。
回顧計算的歷史,很明顯,我們總是建立在更簡單的基礎之上:從彙編到C,C++(OO),Java等等。
計算自然地透過將較低階別的概念聚合為較高階別的概念而發展。這就是為什麼將LLM視為作業系統的原因
我們正處於計算領域重大轉變的邊緣。
- 2023年11月:AI Lab實現Karpathy AI作業系統第一版
- 2024年2月:中國(+普林斯頓)團隊提出自主學習作業系統