人工智慧的發展速度可能超乎你的想象。自GPT-4將多模態技術引入公眾視野以來，多模態大模型進入快速發展階段，逐漸從單純的模型研發轉向垂直領域的探索和應用，與各行各業深度融合。在介面互動領域，谷歌、蘋果等國際科技巨頭紛紛投入UI多模態大模型研發，這被視為手機AI革命的必經之路。
在此背景下，國內首個UI大模型橫空出世。8月17日，在IXDC2024國際體驗設計大會上，AI時代設計工具Motiff妙多推出了其自主研發的UI多模態大模型——Motiff妙多大模型。這是全球首個由UI設計工具企業研發的大模型，標誌著中國UI設計力量在全球舞臺上的崛起。
（IXDC大會現場，Motiff妙多副總裁介紹國內首個UI大模型——Motiff妙多大模型）
Motiff妙多大模型具備出色的UI理解能力和執行開放式指令的能力。在五個行業公認的UI能力基準測試集中，Motiff妙多大模型的各項指標均超過了GPT-4o和蘋果的Ferret UI，同時在Screen2Words（介面描述與推斷）和Widget Captioning（部件描述）兩大指標上也超越了谷歌的ScreenAI，其中Widget Captioning指標高達161.77，重新整理SoTA。與Ferret UI、ScreenAI等現有解決方案相比，Motiff妙多大模型能靈活地根據上下文理解介面元素，達到“設計專家”水平，最接近人類對UI介面的理解和表述結果。
（權威UI指標橫評中，Motiff妙多大模型所有指標均超過GPT-4o和Ferret UI）
最懂UI的大模型、表述高度接近人類，未來介面互動革命的基石
在IXDC大會上，Motiff妙多副總裁張昊然詳細介紹了Motiff妙多大模型，它具備理解使用者介面和互動導覽兩大能力，有望引領介面互動革命。“人類的創造從認知和理解開始，AI 時代的 UI 創作也將從大模型充分理解使用者介面開始。”張昊然說。
Motiff妙多大模型在理解使用者介面方面表現卓越，堪比“設計專家”。它不僅能識別介面中所有的圖片、圖示、文字和40多種細粒度UI元件，還能精確標註介面上不同元素的區域座標。此外，它還能夠回答與使用者介面相關的各種問題，並根據介面資訊進行功能推斷、詳細描述介面內容。
相較於GPT-4o、Ferret UI和ScreenAI等大模型，Motiff妙多大模型還在介面分析能力上具有顯著優勢。例如，在APP Store應用介面中，Motiff妙多大模型能以UI設計視角將頁面分為頂部導航欄、應用資訊模組等多個模組，並詳細分析每個模組的功能和佈局，這有助於提供設計建議、自動生成UI設計原型等。Motiff妙多在介面分析能力上處於行業領先水平，是最懂UI設計的多模態大模型。
（Motiff妙多大模型能回答各種各樣有關UI介面的問題）
Motiff妙多大模型在理解和表述能力上也最接近人類。此前的解決方案（如 Ferret UI 和 ScreenAI）難以根據上下文理解圖示的含義，Motiff妙多大模型透過人工標註等方式收集了大量高質量的 UI 領域資料，能理解並指出同一圖示在不同介面中的多種含義，顯著提升了描述的準確度和情境相關性。
（圖1資料由谷歌ScreenAI生成，將心形圖示錯誤地理解為“心”而不是“收藏”；圖2、3、4資料由Motiff妙多大模型生成，能結合介面資訊準確描述圖示含義。）
Motiff妙多大模型還具備互動導覽能力，可以根據使用者需求提示操作步驟，並在獲得許可後替代使用者完成相關操作。這為未來的介面互動革命奠定了基礎。未來，使用者無需手動點選螢幕，只需語音或影像輸入即可操作裝置，Siri等手機助手可能成為所有App的新入口，真正的智慧手機和電腦將由此誕生，軟體應用新正規化和介面互動新時代也將隨之開啟。
此外，Motiff妙多大模型也成功將錯誤率控制在個位數內。業內觀點認為，錯誤率的大幅下降標誌著AI從輔助工具向獨立完成工作的“技術奇點”邁進。目前，大模型面臨的核心問題之一是較高的錯誤率，如GPT-4在多個指標上有30%至40%的錯誤率，在UI領域錯誤率甚至超過70%。相比之下，Motiff妙多大模型將錯誤率降低到15%以下，個別指標錯誤率僅為7%。
為何AI應用企業能自主研發出全球領先的大模型？張昊然在大會上稱，這源於對“產品做得更好”的持續追求。“Motiff妙多作為AI產品引領者，致力於從應用場景出發突破技術瓶頸，不斷提升對AI能力的要求。”他說。
Motiff妙多能在UI領域“打敗”GPT-4o、蘋果Ferret UI等國際領先大模型，也得益於其長期的技術積累。Motiff妙多自2021年成立以來一直專注於介面互動與設計，其母公司猿輔導集團2014年就成立了專注於AI技術前沿探索的AI Lab，2018年猿輔導集團在知名機器閱讀比賽MSMARCO中就位列全球第一，當時的機器閱讀理解能力已經超越了百度和微軟。
AI提效+生成打造設計師最佳助手， 最佳化軟體開發工作流
毫無疑問， Motiff妙多大模型的釋出標誌著介面設計領域迎來GPT時刻。UI 設計需要對視覺元素的精確處理和對使用者互動邏輯的深度理解，Motiff妙多大模型顯著提升了設計工具的效率和生成能力。
在Motiff妙多的AI生成UI功能中，使用者只需輸入一段指令，不到30秒，Motiff妙多就能生成兩版設計稿。根據近期30多位行業人士的盲評，Motiff妙多生成的兩版設計稿均優於之前領先的AI生成UI工具Galileo AI。該功能釋出後迅速成為市場上的領先者，這一優勢直接源於Motiff妙多大模型的UI專業能力。據悉，AI生成UI功能已於8月17日對全球使用者開放，只需註冊Motiff妙多賬號即可免費體驗。
（輸入同樣的提示詞“生成類似hulu的影片流主頁”，Motiff妙多生成效果的準確性、豐富度強於Galileo AI。）
此外，AI設計系統功能中的元件識別準確性也得到了顯著提升。在大模型的支援下，設計師僅需花費幾分鐘就能完成過去至少幾周才能完成的工作。AI複製功能對設計稿中的圖片和文案識別準確率達到97%以上。
“Motiff 妙多將計劃面向中大型企業開放大模型能力，和客戶共同打造 AI 時代新的介面生產關係。”張昊然在會上指出，Motiff妙多大模型有助於最佳化軟體開發工作流，有效縮短現有的介面生產流程。
Motiff妙多此前已在介面設計行業開創了多個“第一”，不僅首創多個AI功能，也是國內首個自研圖形渲染引擎的介面設計軟體，並且是全球唯一在單畫布100萬圖層下仍可流暢編輯的高效能產品。Motiff在海外社交媒體上被譽為“AI版Figma”，在提高生產力超百倍的同時，價格比Figma低80%以上，並登上知名產品釋出平臺Product Hunt 7月最受歡迎產品日榜和周榜第一。
（海外社交平臺出現大量比較Motiff妙多和Figma的帖子，Motiff妙多被認為是設計師都需要了解的AI工具。）