蘋果智慧炸裂登場:直接GPT-4o加持,全家桶都上生成式AI,Siri脫胎換骨

机器之心發表於2024-06-11

還有史詩級更新:iPhone 加通話錄音,iPad 加計算器。


不止 Siri 或 iPhone,整個蘋果,向前邁進了一大步。

北京時間 6 月 11 日凌晨,蘋果全球開發者大會 WWDC 在庫比蒂諾的 Apple Park 正式召開。這場大會,蘋果如我們所願終於帶來了覆蓋全線產品的生成式 AI 技術,與此同時還有些預料之外的訊息。

蘋果智慧炸裂登場:直接GPT-4o加持,全家桶都上生成式AI,Siri脫胎換骨

「蘋果的目標一直是構建以人為本,最為易用方便的個人裝置,提升人們的生活效率。多年來我們一直在應用人工智慧機器學習技術來實現目標,」蘋果 CEO 蒂姆・庫克說道。「最近大語言模型等 AI 突破,讓我們有機會把體驗推向新的高度。」

現在終於能知道蘋果是如何看待生成式 AI 的了。首先是理念:必須要強大、直觀、完全整合、個性化且保護隱私。

圖片

然後是方式:基於蘋果裝置強大的 M 系列晶片,走自研本地大模型加雲端的策略,本地的模型不走尋常路,超出本地處理能力的問題可以藉助雲端大模型解決(Private Cloud Compute),也可以找 OpenAI 的 GPT-4o。

十三年前,蘋果的語音助手 Siri 橫空出世,為智慧手機探索了下一次互動變革。在生成式 AI 時代,Siri 終於有機會兌現當初人們寄予的厚望,它變得更加聰明,擁有豐富的知識,會像目前最先進的大模型工具一樣一步步給你提示,幫你解決問題。

圖片

另外,現在和 ChatGPT 一樣,你也可以向 Siri 打字互動了。

蘋果表示,Siri 的全新形態將會改變遊戲規則。大量 AI 新能力會很快上線,另外螢幕讀取、App 內 / App 之間的操作等能力預計明年到位。

圖片

新 Siri 只是蘋果 AI 能力的一小部分,今年 WWDC 長達一個半小時的 keynote 上,蘋果首次把 AI 能力單列出一個章節,專門介紹從影像到文字,覆蓋手機、iPad 和 Mac 的生成式 AI。它們都基於 Apple Intelligence。

Apple intelligence:完整 AI 體系

Apple intelligence 是蘋果的全新個性化智慧系統,全面接入了生成式 AI 的能力。

圖片

Apple Intelligence 結合生成式 AI 模型和使用者的個人資料,提供實用的智慧服務。它覆蓋 iPhone、iPad 和 Mac,深度整合在 iOS 18、iPadOS 18 和 macOS Sequoia 中。它利用蘋果晶片的能力來理解並創造語言和影像,可以跨應用地執行操作,並利用個人資訊簡化和加速日常任務。

這些應用可以在裝置端執行,超出裝置端能力的部分也可以在雲上執行。透過 Private Cloud Compute,蘋果在 AI 領域設立了新的隱私標準,能夠在裝置端處理和基於伺服器的大型模型之間靈活調整計算能力,這些伺服器執行在專用的蘋果晶片上。

庫克表示,Apple Intelligence 是蘋果創新的新篇章,將改變使用者使用產品的方式。他強調,蘋果獨特的方法結合了生成式人工智慧和使用者的個人資訊,能提供真正有用的智慧服務。此外,Apple Intelligence 能夠以完全私密和安全的方式訪問資訊,幫助使用者完成對他們最重要的事情。這是蘋果獨有的 AI 體驗。

脫胎換骨的 Siri

Apple Intelligence 為 Siri 帶來了更深層次的系統整合。Siri 現在擁有更豐富的語言理解能力,變得更加自然、更懂上下文、更個性化,能夠簡化和加速日常任務。Siri 能夠理解使用者在說話時的猶豫,並在不同請求之間保持上下文連貫。使用者還可以透過打字與 Siri 交流,並根據需要在文字和語音之間切換。此外,Siri 還擁有全新的設計,當 Siri 處於啟用狀態時,螢幕邊緣會環繞著優雅的發光效果。

圖片

現在,使用者可以向 Siri 輸入文字,也可以在文字和語音之間切換,以任何合適的方式與 Siri 交流。

Siri 現在可以為使用者提供全面的裝置支援,無論他們身在何處,都能解答關於 iPhone、iPad 和 Mac 操作的數千個問題。比如,使用者可以學習如何在 Mail 中安排郵件、如何從淺色模式切換到深色模式等各種操作。

圖片

而且,有了螢幕感知功能,Siri 可以讓你輕鬆執行與螢幕上的資訊相關的操作,例如將聊天資訊中收到的地址新增到朋友的通訊錄中。

圖片

藉助 Apple Intelligence,Siri 能夠在蘋果和第三方應用中執行數百種新操作。例如,使用者可以說:「從我的閱讀列表中找出那篇關於蟬的文章」,或者「把週六燒烤的照片發給 Malia」,Siri 將自動處理這些請求。

圖片

Siri 現在可以在應用程式中或跨應用程式執行數百項新操作,包括在「Messages」和「Mail」中查詢朋友傳送的書籍推薦。

Siri 能夠根據使用者的裝置資訊提供個性化的智慧服務。例如,使用者可以說:「播放 Jamie 推薦的那個播客」,Siri 將定位並播放該播客,使用者無需記住它是在簡訊還是郵件中被提及的。使用者也可以問:「媽媽的航班什麼時候到達?」Siri 將找到航班詳情,並與實時航班追蹤資料交叉引用,以提供到達時間。

圖片

Siri 能夠根據使用者及其裝置上的資訊提供量身定製的智慧服務,例如查詢即將起飛航班的詳細資訊或跟蹤晚餐預訂情況。

其實,關於 Siri 的這次更新,蘋果在四月份的一篇論文中早有劇透,只不過當時沒有引起足夠的注意。具體細節可以參見機器之心報導《讓大模型理解手機螢幕,蘋果多模態 Ferret-UI 用自然語言操控手機》。

圖片

此外,蘋果還開源了一些相關研究,參見:https://github.com/apple/ml-ferret?tab=readme-ov-file

圖片

跨蘋果平臺整合 ChatGPT

不出所料,今天蘋果釋出會的一大亮點在於與 OpenAI 的合作。

蘋果宣佈,Apple 正在將 ChatGPT 整合到 iOS 18、iPadOS 18 和 macOS Sequoia 內的體驗中,使使用者無需在工具之間跳轉即可訪問 ChatGPT,包括影像和文件理解功能。

此外,Siri 也可以隨時利用 ChatGPT 的專業回答。但 Siri 在將任何問題、任何文件或照片傳送到 ChatGPT 之前,都會先詢問使用者,然後 Siri 直接給出答案。

圖片

當使用者授予許可權時,Siri 可以利用 ChatGPT 的回答。

此外,Apple 系統範圍內的寫作工具也可以用到 ChatGPT,從而幫助使用者生成內容。透過 Compose,使用者也可以訪問 ChatGPT 影像工具來生成各種風格的影像。

圖片

寫作工具訪問 ChatGPT 協助寫作

至於上線時間,蘋果表示 ChatGPT 將於今年晚些時候登陸 iOS 18、iPadOS 18 和 macOS Sequoia,由 GPT-4o 提供支援。使用者無需建立帳戶即可免費訪問它,ChatGPT 訂閱者可以連線他們的帳戶並直接從這些體驗中訪問付費功能。

最後,Apple Intelligence 對使用者完全免費,並將於今年秋季作為 iOS 18、iPadOS 18 和 macOS Sequoia 的一部分提供英語測試版。更廣泛地功能、軟體平臺和其他語言將在明年推出。Apple Intelligence 將在 iPhone 15 Pro、iPhone 15 Pro Max 以及搭載 M1 及更高版本的 iPad 和 Mac 上提供。

也就是說想要用到這些大模型能力,你就要花錢買最新的蘋果裝置了。

新的語言理解和創造能力

Apple Intelligence 為使用者解鎖了提升寫作能力和更有效溝通的新途徑。

全新的系統級寫作工具被內建於 iOS 18、iPadOS 18 和 macOS Sequoia 中,使用者幾乎可以在任何寫作場合重寫、校對和總結文字,包括郵件、備忘錄、頁面以及第三方應用程式。

利用重寫功能,使用者可以從多個版本中挑選,調整文風以適應不同的讀者和場合。無論是為求職信增加說服力,還是為派對邀請函注入幽默與創意,重寫功能都能幫助使用者找到恰如其分的表達。

校對功能則深入檢查語法、詞彙和句式結構,並提供建議性的編輯意見及其解釋,讓使用者輕鬆審查或快速採納。例如,當使用者在撰寫郵件時,寫作工具選單會彈出,提供校對和重寫的選項,使用者可以根據自己的需要選擇相應的功能。

而總結功能則允許使用者選取文字,一鍵生成簡潔明瞭的段落、要點列表、表格或清單,使資訊一目瞭然。例如,當使用者啟動備忘錄應用,在記錄有關全面健康的內容時,就可以使用「總結」功能來提煉要點。

圖片

管理郵件是一件讓人頭疼的事情,而新增的「優先郵件」功能將最緊急的郵件 —— 如當日的晚餐邀請或登機牌 —— 置於收件箱頂部,使用者無需開啟郵件,就能一目瞭然地看到每封郵件的摘要。

圖片

面對長篇的郵件執行緒,使用者僅需輕觸螢幕,即可獲取關鍵資訊。

圖片

智慧回覆功能更是提供了快速回復的選項,並能精準識別郵件中的問題,確保每一項都得到妥善回應,讓郵件管理更加得心應手。圖片
對語言的深刻理解同樣擴充套件到了通知功能。最重要的通知會被提升至通知列表的頂部,而摘要功能則幫助使用者在鎖屏上快速瀏覽長篇或堆疊的通知,展示關鍵細節。

圖片

「減少打擾」功能是一個新推出的專注模式。當一個群聊特別活躍時,為了幫助使用者更好地專注於當前任務,「減少打擾」功能僅展示那些可能需要立即處理的通知,比如從日託中心提前接孩子的緊急簡訊。

圖片

此外,備忘錄和電話應用也新增了一項功能,使用者可以錄製通話、實時轉錄對話內容,並自動生成摘要。

圖片

在通話過程中,如果使用者選擇錄音,所有通話參與者都會收到提示。通話一結束,Apple Intelligence 就會立即生成一份摘要,幫助使用者快速回顧和把握對話中的關鍵資訊。

圖片

Image Playground

Apple Intelligence 提供令人興奮的影像生成功能,可以幫助使用者以新的方式溝通和表達自己,這主要體現在新應用功能 Image Playground 上。藉助 Image Playground,使用者可以在幾秒鐘內建立有趣的影像,還能選擇三種風格:動畫、插圖或素描。

Image Playground 易於使用,並且直接內建於包括「Messages」在內的應用程式中,也可以在專用應用程式中使用,非常適合嘗試不同的概念和風格。所有影像都在裝置端建立,使用者可以嘗試任意數量的影像。

圖片

藉助 Image Playground,使用者可以:

  • 從主題、服裝、配飾和地點等類別的一系列概念中進行選擇;
  • 輸入描述來定義影像;
  • 從個人照片庫中選擇某人加入影像中;
  • 並選擇最喜歡的風格。

圖片

藉助「Messages」中的「Image Playground」功能,使用者可以快速為朋友建立有趣的影像,甚至可以看到與他們的對話相關的個性化建議。例如,當使用者向群組傳送有關徒步旅行的訊息時,他們會看到與朋友、目的地和活動相關的建議概念,從而使影像建立更快、更相關。

圖片

圖片

在 Notes 中,使用者可以透過 Apple Pencil 工具調板中的新 Image Wand 訪問 Image Playground,使筆記更具視覺吸引力。粗略的草圖可以變成令人愉悅的影像,使用者甚至可以選擇空白空間,利用周圍區域的背景來建立影像。

圖片

此外,Image Playground 還可以在 Keynote、Freeform 和 Pages 等應用程式以及採用新 Image Playground API 的第三方應用程式中使用。

Genmoji:將表情符號提升到一個全新水平

使用者可以建立原創的 Genmoji 來表達自己的想法,只需輸入描述,符合要求的 Genmoji 就會出現,並附帶其他選項。

圖片

使用者甚至可以根據照片為朋友和家人建立 Genmoji。就像表情符號一樣,Genmoji 可以內嵌新增到訊息中,也可以作為貼紙進行分享。

圖片

使用者只需輸入描述,生成Genmoji 以及其他選項

圖片

就像表情符號一樣,Genmoji 可以內嵌新增到訊息中

照片中新增功能,為使用者提供了更多控制

藉助 Apple Intelligence,搜尋照片和影片將變得更加方便。使用者可以使用自然語言搜尋特定照片,例如搜尋「Maya 穿著扎染襯衫滑板」或「Katie 臉上有貼紙」。

圖片

此外,影片搜尋也變得更加強大,使用者能夠在剪輯中找到特定時刻,並直接跳到相關片段。此外,全新的「Clean Up」工具可以識別並移除照片背景中的干擾物體,而不會改變主體。

圖片

透過「Memories」功能,使用者只需輸入描述即可建立自己想要觀看的故事。藉助語言和影像理解,Apple Intelligence 會根據描述挑選出最佳照片和影片,根據照片中識別的主題製作故事情節,並將它們排列成具有獨特敘事弧線的電影。使用者甚至會收到來自 Apple Music 的歌曲推薦進行匹配。與所有 Apple Intelligence 功能一樣,使用者的照片和影片會在裝置上保持私密,不會與其他人共享。

圖片

AI 隱私新標準

Apple Intelligence 要想真正為使用者提供幫助,就必須瞭解深層次的個人上下文,同時保護使用者隱私。Apple Intelligence 的基石是在裝置上(on-device)進行處理,許多模型完全在裝置上執行。對於需要更多處理能力的更復雜請求,Private Cloud Compute 將蘋果裝置的隱私和安全性擴充套件到雲端,以解鎖更多的智慧功能。

透過 Private Cloud Compute,Apple Intelligence 能夠靈活擴充套件其計算能力,並利用基於伺服器的更大模型來處理更復雜的請求。這些模型在由蘋果晶片驅動的伺服器上執行,為蘋果提供了一個基礎,確保資料永遠不會被保留或暴露。

獨立專家可以檢查在蘋果晶片伺服器上執行的程式碼,以驗證隱私保護措施。Private Cloud Compute 透過加密確保 iPhone、iPad 和 Mac 不會與伺服器通訊,除非其軟體已被公開記錄以供檢查。帶有 Private Cloud Compute 的 Apple Intelligence 為 AI 領域的隱私保護設立了新的標準,為使用者提供了可信賴的智慧服務。

Andrej Karpathy:蘋果智慧非常激動人心

蘋果的 Apple Intelligence 吸引了全世界科技從業者的關注。OpenAI 創始成員 Andrej Karpathy 發帖總結說,他非常喜歡蘋果釋出的「蘋果智慧」。他個人觀察到了以下幾個主題:

  1. 多模態輸入 / 輸出。蘋果啟用了文字 / 音訊 / 影像 / 影片讀寫功能。可以說,這些都是原生的人類 API。
  2. Agentic。蘋果允許作業系統和應用程式的所有部分透過「函式呼叫」進行互操作;核心程序 LLM 可根據使用者查詢安排和協調它們之間的工作。
  3. 無摩擦。蘋果以一種高度流暢、快速、always on 和上下文的方式全面整合這些功能。無需四處複製貼上資訊、提示工程等。還對使用者介面進行了相應調整。
  4. 主動性。蘋果沒有根據提示執行任務,而是預測提示、提出建議並主動執行任務。
  5. 分級授權。儘可能多地將智慧移動到裝置上(蘋果晶片非常有幫助且適合),但允許將工作可選地派發到雲端。
  6. 模組化。允許作業系統訪問並支援整個不斷增長的 LLM 生態系統(例如 ChatGPT 公告)。
  7. 隱私。

Karpathy 表示,我們正在迅速進入這樣一個世界:你可以開啟手機,隨便說些什麼,它會回應你,它瞭解你,而且它還能正常工作,這非常激動人心。

圖片

全新 macOS 系統讓 Mac、iPhone 實現連續互通

此次,蘋果 macOS 系統也迎來了重大的版本更新,包括系統名稱、新增一系列功能等。

macOS 15 系統更名為了 macOS Sequoia,將於下月推出公測版,今年秋季面向普通使用者釋出完整版。其中引入的最顯著功能包括 iPhone 映象(mirroring)、通知(Notifications)和 Safari 升級。

圖片

我們重點來看新增的 iPhone 映象功能,它允許使用者直接在 Mac 上完全訪問和使用 iPhone。使用者可以在 Mac 裝置上啟動和瀏覽任何他們想要執行操作的 iPhone 應用程式,並透過鍵盤、觸控板和滑鼠與手機無縫互動。

圖片

滑動 iPhone 螢幕。

圖片

開啟 iPhone 應用程式。

藉助 Mac 上的 iPhone 通知功能,使用者可以在 Mac 上接收 iPhone 手機的通知,點選通知就能進入對應的應用程式。

圖片

當使用者在 Mac 上工作時,iPhone 螢幕將鎖定待機模式,其他人無法訪問或檢視你正在做的事情。

圖片

在 Mac 上透過拖曳輕鬆實現 Mac 與 iPhone 之間檔案傳輸。

雖然 Mac 上已能執行 iOS 應用,但直接操作手機介面顯然更直觀。這方面 Mac 可謂是跟上了安卓、鴻蒙的步伐。

macOS Sequoia 還新增了一個類似於 Windows 的新視窗排列工具,可以自動調整應用視窗大小以平鋪並填滿螢幕。當使用者將視窗拖到螢幕邊緣時,系統會自動建議將其放在桌面的哪個位置,從而讓桌面井然有序。

使用者可以選擇將視窗並排平鋪或者放在角落以檢視更多應用程式,同時新的鍵盤和選單快捷鍵可以幫助更快地進行排列平鋪。

圖片

此外,Mac 內建瀏覽器 Safari 透過「突出顯示」(Highlights)功能讓使用者更輕鬆地發現資訊,比如路線、摘要或快速連結。這裡利用機器學習技術自動檢測使用者正在瀏覽的資訊並突出顯示。

圖片

規劃路線時突出顯示。

可以看到,全新 macOS 系統加持下的 Mac 體驗更加地輕鬆、便捷、高效。

違背祖訓,給 iPad 裝計算器

對於 iPad 使用者來說,最大的進步莫過於終於有原生的計算器應用了。賈伯斯曾經說過,把計算器裝進 iPad 是「反直覺」的,所以十幾年來這種全球最為流行的平板裝置一直沒有計算器 App。

現在生成式 AI 來了,蘋果立馬「違背了祖訓」。

蘋果推出了全新的數學筆記(Math Notes)計算器,使使用者能夠輸入或手寫數學表示式,並立即看到以他們自己的筆跡解決的結果。在學習新概念、計算預算等時,使用者還可以為變數分配值。新增的繪圖功能允許使用者寫出或鍵入方程式,並只需輕觸一下即可插入圖表,甚至可以在同一個圖表上新增多個方程式,以檢視它們之間的關係。

圖片

計算器 APP 專為 iPad 的獨特功能而設計,提供了一種使用 Apple Pencil 解決表示式問題的全新方式。

當然,這一切的前提是,你得有個 Apple Pencil。

iPad 上的這個基本科學計算器讓使用者在完成之前就能輕鬆檢視完整的表示式。歷史記錄功能幫助使用者跟蹤之前的計算結果,而單位轉換功能讓使用者能夠快速轉換長度、重量、貨幣等單位。

圖片

有了 Math Notes,計算器允許使用者鍵入或寫出數學表示式,並立即看到它們的解,還能為變數賦值,以便在表示式中使用。

One More Thing

除了大換代的 macOS、iPadOS 系統,蘋果在其他裝置端的系統也都有相應的更新。其中混合現實頭戴裝置 Vision Pro 有了全新的系統 ——visionOS 2,新增了很多全新的功能,比如利用高階機器學習從 2D 影像中匯出左右眼檢視,並建立具有自然深度的空間照片。

圖片

6 月 28 日,vision Pro 將率先在中國、日本和新加坡發售。國行價格方面,256GB 版本 29999 起、512GB 版本 31499 起、1TB 版本價格 32999 元。這樣的價格,你打算入手嗎?

圖片

蘋果的一系列釋出,既跟上了節奏,也發揮出了蘋果自身從硬體到軟體一體化的優勢。畢竟在安卓陣營,短時間內還難以見到手機與伺服器用同一晶片架構的情況。另一方面,與技術最先進的 OpenAI 深度合作也被人們認為是「放得開」。

那麼蘋果 AI 落地的前景算是一片大好?不一定,今天的股價還是下跌了。

圖片

WWDC 的 Keynote 結束後,蘋果市值再次被英偉達超過。

另外馬斯克也說了,既然蘋果是系統級整合 OpenAI,那就是無法接受的不安全,在我的公司裡要禁用。

圖片

不論投資者還是友商,都有些顧慮。

「Apple intelligence」能不能讓蘋果在生成式 AI 的賽道上反超,或許還有待時間的檢驗。

參考連結:
https://www.apple.com/newsroom/2024/06/introducing-apple-intelligence-for-iphone-ipad-and-mac/
https://www.apple.com/newsroom/2024/06/macos-sequoia-takes-productivity-and-intelligence-on-mac-to-new-heights/

相關文章