近日，美國著名研究型風險投資公司Loup Ventures分析師Gene Munster和Will Thompson測試了四個智慧音響的IQ：Amazon Echo (Alexa)、Google Home(Google Assistant)、HomePod (Siri)和Invoke (Cortana)，分別詢問了它們800個問題。
智慧音響的IQ主要通過內建的語音助手來體現。測試結果為：Google Assistant能夠正確回答88％，佔據第一位，緊隨其後的是Siri，問題正確率為75％，排名第二，而萬眾矚目的Alexa僅為73％，排名第三，Cortana為63％，排名第四。
相比去年，四款智慧音響IQ排名依舊沒變，但是，IQ總體水平有所提高。
在去年，Google Assistant能夠正確回答81％，Siri為52％，Alexa為64％，Cortana為56％。
Loup Ventures是一家研究型風險投資工資，主要投資前沿科技公司，並建立新的體驗方式，為了更好地理解人工智慧的實際使用案例以及語音作為計算輸入的出現，Loup Ventures正在進行的工作的一部分是，定期測試最常見的語音助理和智慧音響。
雖然底層技術類似，但智慧音響的語音助手和智慧手機上的語音助手在使用場景和使用者體驗差別很大，應該分別測試。
這次，他們測試了智慧音響Amazon Echo (Alexa)、Google Home(Google Assistant)、HomePod (Siri)和Invoke (Cortana)。
測試方法
向每個智慧音響詢問了相同的800個問題，並對兩個指標進行了評分：1、它是否理解所說的內容？2、它是否提供了正確的答案？問題旨在全面測試智慧音響的能力和效用，問題分為5類：
當地 - 最近的咖啡店在哪裡？
商務 - 你能給我提供更多紙巾嗎？
導航 - 我如何乘坐公共汽車去市區？
資訊 - 雙胞胎今晚有誰參加比賽？
命令 - 提醒我今天下午2點打電話給史蒂夫。
智慧音響型號
第二代Amazon Echo，Google Home Mini，Apple HomePod和Harman Kardon Invoke
測試結果與分析
Google Home繼續表現優異，正確回答了86％並理解了所有問題。HomePod正確回答了75％並且只誤解了3個問題，Echo正確回答了73％並且誤解了8個問題，而Cortana正確地回答了63％並誤解了5個問題。
值得注意的是，幾乎每個被誤解的問題都涉及一個專有名詞，通常是當地城鎮或餐館的名稱。
語音助手的語音識別和自然語言處理都得到了改善，在合理的範圍內，他們會理解你所說的一切。
Google Home在五個類別中有四個處於領先地位，但在命令類別中不及Siri。HomePod在這方面的領先地位可能是因為HomePod把所有的Siri請求（比如簡訊、列表等）傳送到與智慧音響配對的IOS裝置上。而iPhone上的Siri與我們的命令類別中的電子郵件、日曆、訊息傳遞和其他重點領域進行了深度整合。
我們的問題集還包含大量與音樂相關的查詢，這是HomePod擅長的。
最大的差異存在於商業領域，傳統觀點認為Alexa將佔主導地位。但是，Google Assistant可以正確回答更多關於產品資訊和在哪裡購買某些商品的問題，Google Express在實際購買商品或重新進貨方面與Amazon一樣強大。
基於對消費者的調查以及我們使用語音助手的經驗，通過語音命令進行購買商品的消費者數量微不足道。與商業相關的查詢更傾向於產品研究和本地商業發現。
Alexa令人驚訝的商業評分解釋了這一點。
問題：“美甲會花多少錢？”
Alexa：“美甲的最佳搜尋結果是Beurer Electric Manicure＆Pedicure Kit。亞馬遜上的售價為59美元。想買嗎？”
Google Assistant：“平均而言，基本美甲將花費你大約20美元。然而，特殊型別的美甲，如丙烯酸、凝膠、紫膠和無晶片的價格從20美元到50美元不等，具體取決於沙龍。”
由於有專有地圖資料的整合，HomePod和Google Home在本地和導航部分都遙遙領先於其他智慧音響。
在我們的測試中，我們經常詢問當地企業、公交車站、城鎮名稱等。這些資料對Siri和Google語音助手來說具有潛在的長期優勢。
每個語音助手都可以播放給定的歌曲或告訴你天氣情況，但是，對於情境感知的理解將產生真正的差異。
如果你問，“我的日曆上有什麼？”一個真正有用的答案可能是，“20分鐘後，在十二大道上的星巴克有一個會議。開車需要8分鐘，乘坐巴士需要15分鐘。我會在你的手機上提示方向。”
需要注意的是，HomePod在許多領域的表現不佳是因為與iPhone相比，Siri在HomePod上的能力有限。許多資訊和商業問題都得到了“我在HomePod上找不到答案”回答。
蘋果顯然把HomePod定位為一個家庭音響，而不是一個“智慧音響”。
智慧音響的進步
在12個月的時間裡，Google Home提高了7個百分點，Echo提高了9個百分點，Siri（9個月）提高了22個百分點，而Cortana提高了7個百分點。
下面的圖表顯示了我們過去測試的結果。導航或商務類別問題正確率連續下降是由於我們對問題集進行了更改，以反映不斷變化的能力，並確保我們的測試是詳盡的。
除了HomePod在過去一年中由於啟用更多域名而增加了22個百分點點，Alexa還有明顯的進步。最大的進步來自資訊部分，其中Alexa更有能力回答後續問題並提供諸如股票報價之類的東西，而無需啟用技能。
我們也相信我們可能會看到新的Alexa Answers計劃的早期結果，該計劃允許人們對Alexa目前沒有答案的問題進行眾包答案。例如，這一輪，Alexa正確回答了，“托馬斯傑斐遜與誰有曖昧關係？”和“直徑為21的圓周長是多少？”
我們還注意到，之前未正確回答的一些特定生產力問題的改進。例如，Google Assistant和Alexa都可以聯絡Delta客戶支援並檢視線上訂單的狀態。除了HomePod之外的所有智慧音響，都可以根據要求播放一個特定的廣播電臺，而且都可以閱讀睡前故事。
這些有形的案例對於智慧音響來說是重要的，我們希望看到智慧音響功能的全面改進，這些改進將語音的用途從音樂和天氣等簡單的事情推向了更廣闊的領域。
分數接近80-90％，這就引出了一個問題，這些語音助手最終是否能夠回答我們提出的所有問題？答案可能是否定的，但持續改進將使越來越多的功能由我們的聲音控制。這通常意味著更多的裝置間連線（例如，控制電視或智慧家居裝置）以及對電子郵件、訊息傳遞或日曆等功能的更多控制。