豐田互聯基於AWS打造的中國資料湖專案,可以儲存、處理上千萬輛汽車每天行駛過程中產生的TB級資料,為豐田汽車在中國的生產廠、經銷商和使用者提供完整的車聯網解決方案
2020年11月5日,近期,豐田互聯(北京)科技開發有限公司(豐田互聯)基於亞馬遜雲服務(AWS)開發的資料湖——Toyota Big Data Center China正式上線。它可以儲存、處理上千萬輛豐田汽車每天在行駛過程中產生的數十TB資料,推動豐田汽車的車聯網解決方案在中國市場大規模落地。通過對海量資料的儲存、分析,Toyota Big Data Center China可以為使用者提供各種創新的服務,例如,幫助駕駛員更安全地使用汽車,依據駕駛行為資料幫助車主獲得汽車保險折扣等。在AWS技術專家團隊的幫助下,豐田互聯在5個月內完成了這一專案的開發及部署,並藉助AWS強大的雲服務和功能大大降低了雲資源使用成本。
從2019年開始,豐田汽車希望在中國市場全面推廣車聯網服務,為所有新上市的汽車標配了車載資料通訊模組(DCM),成功實現在使用者同意的情況下將車輛資料全部傳輸到後臺的車聯網系統。車聯網服務的全面落地,首當其衝面臨的就是海量資料的儲存、處理和分析問題。豐田汽車2019年在中國全年銷量超過162萬輛,中國市場保有量超過1115萬輛。行駛的車輛每天不斷地生成新資料,隨著聯網汽車數量不斷增長,這些汽車每天將產生數十億條訊息,生成TB級的資料。為了給使用者提供更好的車聯網服務,豐田互聯希望通過搭建資料湖,構建一個能夠實時儲存、處理、分析資料的管理平臺,為穩定、可靠、高效的車聯網服務系統打好基礎。
AWS在大資料方面有一套完整的解決方案,可以儲存任意規模的結構化和非結構化資料,並對原始資料進行查詢、處理、實時分析和機器學習等,幫助企業利用資料做出更好的決策。Amazon Simple Storage Service (Amazon S3) 是AWS資料湖方案的核心,具有優異的可伸縮性、高可用性。Amazon S3為實現99.999999999% 的永續性而設計,可以快速、低成本地攝取和儲存各種資料。豐田互聯還採用了Amazon Kinesis實時資料流服務、AWS Lambda無伺服器計算服務、Amazon Elastic MapReduce大規模並行處理服務等,安全、靈活、高效地完成從實時資料注入、解碼到分析、應用的全流程。
同時,豐田汽車的車聯網專案是全球性的,中國資料湖系統的架構和平臺也需與全球統一。豐田汽車和AWS正在開展全球協作,採用AWS龐大的雲服務組合擴充套件豐田的行駛服務平臺,幫助豐田工程師開發、部署和管理下一代資料驅動的行駛服務。豐田在AWS中國區域可以選用與AWS海外區域相同的資料湖解決方案,因此AWS成為豐田互聯構建資料湖系統的理想選擇。
此外,AWS的雲原生和託管服務也使豐田互聯可以把更多精力放在應用創新上,縮短專案上線時間,減少開發和運維的成本。豐田互聯的成本節省主要體現在兩個方面:其一是雲資源使用成本的節省。利用AWS豐富的功能建立起成本優化模型,豐田互聯極大地降低了雲資源的使用成本。例如,通過制定資料生命週期策略,在指定持續時間之後將資料從Amazon S3移動到Amazon S3 Glacier,從而將資料儲存成本降低了6倍,更進一步地將資料從Amazon S3 Glacier移動到Amazon S3 Glacier Deep Archive,成本又降低了4倍。另一方面,採用AWS無伺服器架構等技術,實現了架構的自動靈活擴充套件,降低成本。其二是系統的運維成本大幅度降低,基於AWS構建的業務系統實現了高度自動化運維。
豐田互聯副總經理光武小葉子介紹說,“資料已經成為企業的血液,善用資料,車聯網將引領未來出行方式的變革。依託AWS豐富而強大的大資料分析服務,Toyota Big Data Center China能夠簡化開發,快速進入市場,實現實時接收、儲存和處理PB級的關係及非關係型資料,助力豐田汽車為中國使用者提供一流的車聯網服務。我們也將藉助豐田在全球與AWS針對未來出行技術的進一步探索,不斷深化與AWS在中國的合作,攜手加速創新,更好地服務中國使用者。”
“AWS在與全球車聯網、自動駕駛等領域的客戶的合作中形成了深厚的積累。我們看到,全球的汽車行業客戶正在利用雲、大資料、人工智慧和機器學習、物聯網等技術改變其運營模式,並通過資料加速產品開發、優化製造流程和改善客戶體驗。”AWS大中華區企業業務擴充部總經理凌琦表示,“利用AWS的全球優勢,我們在中國也在加大投入,深耕汽車行業,助力客戶進行數字化轉型和創新。豐田互聯藉助AWS廣泛而深入的雲服務在車聯網領域的創新探索,對整個汽車行業以及眾多其它行業,都有著重要的借鑑意義。”