本文來源:國家智慧財產權局智慧財產權研究中心 公眾號 專利分析運用智庫 作者:胡小偉

2009年穀歌公司宣佈,史丹佛大學人工智慧實驗室主任、谷歌工程師和谷歌街景地圖服務的創造者之一的Sebastian Thrun領導組建一個谷歌團隊,歸屬谷歌旗下的Google X實驗室,開始研發全自動駕駛汽車。谷歌開發無人駕駛汽車的目標是為了減少交通事故、降低交通擁堵浪費的時間和能源,並將公路上行駛的汽車數量削減90%。

智慧汽車6

相比於傳統汽車企業的“增量漸進式”的智慧汽車研發專案和戰略規劃,谷歌採用顛覆性的研發方法,直接以智慧汽車的終極形式——“機器人系統為核心”的自主智慧非聯網方式的無人駕駛汽車作為開發目標,針對無人駕駛車對於外部環境的感知、檢測、判斷、控制演算法等方面進行詳細研究。

對於以“機器人系統”為開發核心的全自動駕駛汽車,谷歌認為雷達(Radar)、車道保持系統(Lane-keeping)、鐳射測距系統(LIDAR)、紅外攝像頭(Infrared Camera)、立體視覺(Stereo Vision)、GPS/慣性導航系統、車輪角度編碼器(Wheel Encoder)只是無人駕駛汽車的必備部件,而將這些部件緊密聯絡起來的核心亦技術研究的重點就是針對無人駕駛車對於外部環境的感知、檢測、判斷、控制等演算法。

因而,從無人駕駛汽車研究的提出到現在,谷歌的無人駕駛汽車的研究大致經歷了三個階段。 國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局

圖2 谷歌無人車時間發展歷程

一、第一代無人駕駛車:豐田普銳斯為原型

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖3 第一代原型車:豐田普銳斯

谷歌第一代無人駕駛車(改造自豐田普銳斯),其初始的技術發展就是沿著“檢測——分析計算——自我學習執行”三個部分延續的。

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖4 第一代谷歌無人車及其相關技術

1.採用鐳射雷達

第一代無人駕駛車的車頂使用Velodyne公司生產的64束鐳射器——“感測器”,用以旋轉掃描周圍行駛環境進而來構造環境模型,這是獲取外界資訊的重要入口也是無人駕駛汽車控制的基礎,其體現在利用感測器精確的捕捉周圍路況資訊(美國專利號US8346426,下同)和針對鐳射感測器本身的優化設計,包括增加物體探測的靈敏度(US87423425)、增加探測精度(US8948370)和鐳射雷達結構優化(US8836922)。

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖5 Velodyne的64線的LIDAR產品

車體的前後4個雷達用來測距,再由底部的系統測量出車輛在三個方向上的加速度、角速度等資料,加上車載攝像頭所拍攝的周邊實景,彙總至車載計算機實現物理環境的感知與分析,其具體體現在通過計算機對橫向車輛的識別和測距,能夠執行主動避讓周圍車輛(US8473144),同時還能基於其他車輛的車道資訊判斷其自身的行駛車道是否產生了偏離、是否會發生跟隨追尾的行為(US8818681)。

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖6 用於無人駕駛豐田普銳斯的Velodyne公司LIDAR產品

對於道路行人的檢測,也能夠執行相關制動和避讓措施(US8571743)。

2.突出地圖優勢

另一方面,基於谷歌自身的地圖資料分析能力(US8527199、US8521352),其無人駕駛汽車還藉助GPS匹配行駛路線和學習路線的能力,通過無線自組織網路進行多車輛的相互識別(V2V方式),精確計算行車之間的距離(US8849494)和基於當下位置做出行車方面的控制決策(US8195394)。

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖7 精確計算行車間距(US8849494)

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖8 行車的控制決策(US8195394)

更進一步地,利用地圖資料資訊監測行駛路線上的道路交通情況,選擇不同的駕駛模式,從而更好地節省時間和提高行駛效率(US8855904)。

總體來看,谷歌的第一代無人駕駛汽車就是在原有的傳統汽車上,增加一些功能設定,使之具備一些初級的無人駕駛功能,能夠在簡單路況環境下進行自主操作行駛,同時嘗試著將自身地圖方面的優勢與智慧汽車進行融合。

二、第二代無人駕駛車:以雷克薩斯RX450h為原型

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局

圖9 第二代原型車:雷克薩斯RX450h

2011 年穀歌註冊了一家叫做“谷歌 Auto”的公司致力於無人駕駛車的研究,伴隨著第一代無人駕駛原型車豐田普銳斯的退出,改造雷克薩斯RX450h的第二代無人駕駛車隨著谷歌 Auto的發展慢慢浮出水面。

相比於第一代無人駕駛車,第二代無人駕駛車所包含的技術含量以及所實現的功能得到大幅的改進,無論在原有的技術路線的深入還是新的技術分支的擴充套件,從谷歌的專利技術佈局以及商業併購合作都得到了體現。

第二代無人駕駛車的核心主線仍然是“檢測——分析計算——自我學習執行”,但在每一塊都得到了細節上延伸。

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局

圖10 第二代谷歌無人車及其相關技術

1.加強環境感知

針對環境檢測和感知方面,更多的考慮了在行駛過程中的突發複雜情況的檢測,一方面增加了行駛道路上的不確定性車輛的感知(US2013197736)甚至在檢測附近有侵略性駕駛車輛的情況下主動調整去駕駛行為(US2014236414)。

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖11 侵略性駕駛車輛的情況下主動調整去駕駛行為(US2014236414)

對於行駛過程中感測器檢測盲點,能夠調整駕駛行為(US20142142255)。

識別交通訊號的位置和狀態乃至相關聯的訊號狀態,同時能夠主動對行駛道路上的障礙物進行評估(US2013253754)。

2.收購影像識別技術公司

另一方面,藉助與所收購公司如圖片分析公司Jetpac、美國工業知覺公司(Industrial Perception)等的技術融合,對影像/圖片識別分析進行深入的研究。

藉助美國工業知覺公司的3D視覺系統能夠幫助及其他分辨出不同性質的物體以避免誤撞情況的發生,通過用OpenCV(計算機視覺和機器學習庫)等分析由鐳射感測器等收集的影像,例如追蹤物體的動態、物體識別、影像縫合、抓取風景提供虛擬現實功能等,來判斷安全行駛路線,實現自動駕駛汽車上的影像識別和深度分析(US8565985)。

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖12 谷歌收購Jetpac公司加強影像識別技術

通過與Jetpac公司在影像識別技術上的融合,對行駛道路上的目標障礙物的檢測和識別匹配得到改進,體現在匹配識別時間的縮短和相關識別複雜程度的提升(US2014379247),並解決了在檢測影像質量不佳的情況下提升其道路標示的可確定性(US2013253753),同時還增加了對行駛天氣環境的感知,進一步獲取更多行蹤條件資訊(US2014307274);對檢測部件的改進體現在計算點陣、電控線路(US9069060、US9043069)等方面。

分析計算是無人駕駛汽車的核心,第二代無人駕駛汽車的邏輯演算法涉及的更為廣泛。在行駛開始前增加了自主規劃能力,通過使用者輸入介面的輸入目的地資訊,在實際的路線規劃中避免可預期的道路障礙(US2015091374),根據行駛路線情況主動控制和調節車速(US8965691)、基於其他車輛行駛車道判斷是否偏離原先的行車路線(US2014088855)、可以基於周邊障礙物的檢測進行變更車道(US2014067187),在變道過程中重新制定新的行車路線(US2104129073)。

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖13 基於其他車輛的行駛車道情況判斷其是否偏離原先的行車路線(US2014088855)

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖14 可以基於周邊障礙物的檢測進行變更車道(US2014067187)

為了保證外部行人的安全性,還增加了十字路口的通行判斷,實現車讓人的行為且也能避免完全停車(US8914212),此外當發生不可避免的碰撞時,在車體外部特別設計的汽車撞擊行人時的保護裝置保護行人的安全,前保險槓用的是可壓縮的泡棉,擋風玻璃也做了相應的改進更加柔軟,儘可能減少發生事故時對行人傷害(US8985652)。

3.收購人工智慧深度學習公司

第二代無人駕駛汽車的最大特點是突出了“無人駕駛汽車”自身的自我學習能力,谷歌相繼收購了加拿大深度學習企業DNNresearch公司和深度學習演算法公司DeepMind(就是他家的阿爾法狗贏了李世石),前者注於語音和影像識別技術,奠定了谷歌的人工智慧深度學習領域的基礎,而後者為無人駕駛車在行駛過程中提高其自我學習功能提供了技術幫助,寄希望機器學習和神經科學移植在汽車上。

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖15 谷歌收購人工智慧公司DeepMind

目前,其相關技術的重點主要集中在無人駕駛汽車行駛過程中,基於原有的行駛資料能夠在自主駕駛和人為控制之間切換(US2014156133、US2014303827),並在在具體的時間點判斷可以執行自主駕駛模式(US2014156182);這種判斷能力還體現在在行駛過程中選擇是否啟用地圖(US2014309833)。

自2010年,谷歌宣佈該無人駕駛汽車已進行路測,到目前已完成了70萬公里的測試路程,通過在真實路況下進行幾十萬英里的道路測試之後,獲取了大量的相關知識與資料儲備,完善了該無人駕駛汽車的自我學習功能。

4.擴充車聯網應用

值得一提的是,作為自身全自主無人駕駛汽車的補充,谷歌也逐步介入車聯網領域。谷歌收購眾包地圖應用Waze,利用Waze的技術為谷歌地圖提供實時交通方面的幫助,由此谷歌地圖將新增一些交通流量方面的功能,形成車聯網,加之原有的街景專案所積累的實景資料,Waze將為無人駕駛車在行駛過程中基於地圖資料與周圍環境識別和匹配功能提供新的幫助(US8521352、US8527199)。 國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局

圖16 收購Waze擴充套件無人駕駛汽車地圖服務

同時,隨著“谷歌 glass”等擴增實境AR產品的逐漸成熟,谷歌計劃將谷歌 glass應用到無人駕駛的車載系統中當中,並向系統提供實時的監控資訊,不僅僅包括車速、發動機轉速資訊、冷卻液溫度和燃油油位等幾乎所有同汽車相關的資料,還包括最省油的行駛線路、或在你突然加速或制動的時候告訴你消耗了多少汽油,這些資訊都是實時的。

三、第三代無人駕駛汽車:自主開發Pod Car

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖17 第三代原型車:自主開發Pod Car

經過前兩代的無人駕駛汽車的研究和兼併合作相關技術公司的技術補充,谷歌的無人駕駛汽車也逐步成型,於是基於對技術、相關部件的整合以及將該無人駕駛汽車推向市場,在借鑑智慧交通樞紐工具Pod Car原型之後,谷歌推出自主設計並研發的無人駕駛汽車原型,不同的是該設計中沒有傳統汽車裡的方向盤,油門或者剎車,以及輔助駕駛人員,取而代之的是各種感測器以及軟體系統。

國家智慧財產權局研究中心:詳解谷歌三代無人駕駛汽車的專利棋局
圖18 谷歌無人駕駛汽車的零配件供應商

LG電子、博世、採埃孚、大陸、英偉達、Frimo、ZFLS、RCO、Prifix等頂級零部件供應商參與合作提供相關零部件,自動駕駛原型車將由工程專業製造公司Roush生產。

1.增強人機互動體驗

同時,對無人駕駛汽車的細節做了進一步完善,谷歌計劃在無人車中加入Project Soli的可穿戴智慧裝置晶片實現手勢控制和人工干預,通過實時檢測雙手和手指上的微小活動並根據設定執行相應動作,來控制車內音響、空調溫度、雨刷器、座椅,或者用來改變巡航行駛狀態的引數(US20150170664),是谷歌在智慧汽車內娛樂資訊系統的人機互動技術的體現。

2.更加關注行人安全

谷歌計劃採用深度基於神經網路技術的視訊分析系統用來給車描摹一個更廣闊的視域,通過深度網路學習的能力,自動駕駛車經過現有資料和已有資料比對的過程,能夠在0.25秒左右的時間內準確識別行人。

在收購了製造微機電系統(MEMS)感測器的Lumedyne Technologies公司之後,谷歌又公佈了的最新行人監測系統,其可能源於前期積累的行人識別和執行方面相關的技術(US8954252)。

隨著車聯網熱度的提高以及體現雲端思想的“五屏”融合,谷歌在第三代無人駕駛車相較於前兩代來說增加了更多的與車相關的外延應用,針對停車問題,谷歌基於自身的地圖資料優勢和Waze技術補充,提高了智慧停車位置選擇,能夠將行車時間和停車場釋出的預計停車時間點相匹配(US2014350855),使停車位置可選擇,且很好地和智慧管理停車場融合起來。

3.整合谷歌廣告及地圖服務等優勢資源

谷歌還逐步升級優化車載媒介系統,基於位置服務的廣告推送(US8630897)、雲端媒體服務(US2015074003)和基於關鍵詞的地圖搜尋等傳統谷歌優勢技術服務的支撐(US2014372420)。

谷歌還從整個產品的結構上做了改進,採用容錯結構的無人駕駛車。汽車裡實際上是有兩套系統、兩個發動機,都不由人工進行操控,當其中的一套系統或者發動機損壞時,會自動切換到另一套系統或者發動機。將第一代的原型車的最高時速限制在 25 英里/小時。對此,谷歌曾做過調研,車輛發生交通事故的概率與速度是指數遞增的,所以把時速從35英里/小時降低到25英里/小時,發生交通事故的概率就能小一半。

作者:胡小偉

來源:2015年國家智慧財產權局智慧財產權發展研究中心和國家智慧財產權局專利審查協作四川中心聯合開展的《跨國公司智慧汽車專利動向專利分析和預警》專案

專案成員:李勝軍(負責人)、陳燕(負責人)、汪旻樑(組長)、孫全亮(組長)、馬克(副組長)、李巖(副組長)、何如、馬永福、劉豫川、唐峰濤、胡小偉、曹俊麗、尹川、付先武、郭穎、嚴晨楓、鄧英俊、陳飈、孫瑋

編輯:老 馬

作者單位:國家智慧財產權局專利審查協作四川中心