面對國產基礎軟體困境,進擊的星環如何突圍?
5月3日,星環科技在上海舉辦了2018第二屆前沿科技論壇暨星環使用者大會,在此次大會上,星環宣佈了眾多的重磅訊息:釋出最新的系列產品、星環TDH平臺通過TPC-DS基準測試、與新加坡人工智慧核心專案簽署了戰略合作協議……
剝絲抽繭這些訊息,我們不難發現星環在大資料底層基礎產品研發領域已經走出了一條自己的道路,在這條道路上星環的產品經歷了怎樣的變化?新發布的TDH 6.0有哪些技術細節和效能優化?新增的人工智慧產品線如何發展……針對這些問題,我們在第九屆中國資料庫技術大會上採訪到了星環科技的大資料研發總監劉汪根。
劉汪根,負責星環科技大資料平臺軟體Transwarp Data Hub的研發工作,主導開發星環大資料平臺的大量創新功能,包括國內領先的完整相容SQL標準的Hadoop SQL編譯器,首個完整支援ACID屬性的分散式事務,穩定高效的分散式執行引擎。
通關TPC-DS基準測試,星環TDH 6.0技術細節披露
“星環TDH平臺成為全球首個通過經過官方稽核的TPC-DS基準測試的資料平臺,打破了該領域十二年來沒有廠商通過該項測試的局面”。這個訊息一出,無疑給了“基礎軟體國產化”一劑強效雞血。
“通過TPC-DS基準測試對於星環TDH來說,更多的是意味著我們的產品可以7*24小時的滿足非常嚴苛的生產需求,在使用性、穩定性和產品全面性方面達到了非常好的水平。”在談到新發布的星環 TDH 6.0時,劉汪根也透露了很多技術細節。
實時處理引擎:大多數時候,講實時處理其實是在講實時計算引擎,尤其是在延時和吞吐兩個方面的體現。一年前,星環完成了高吞吐、低延時實時計算引擎的研發工作,延遲時間可縮減到5毫秒,是Spark Streaming引擎延時的1/100。另外,據劉汪根透露星環實時計算引擎里加入了一些機器學習的常規演算法。
降低入門門檻:任何產品的釋出使用都是一個比較複雜的過程,你需要去學習程式語言、除錯、釋出等等。但星環TDH 6.0提供了整個的開發平臺,在處理複雜的程式設計除錯時,可以直接拖拽基於統一化規則的事件。
完整的開發工具鏈:大資料開發存在的一個很大問題是工具鏈的不完善,有些常規工具的正負面反饋幾乎是一樣多的,而星環把整個大資料底層的開發工具都打通了,IDE、大資料工具、排程流工具、日誌檢索類工具等等全部都做到了開箱即用。
五大產品線,星環瞄準“人工智慧”的會心一擊
如果大家留心觀察了星環的產品,就會發現原來大資料平臺TDH中的人工智慧相關模組在6.0版本中消失了。在5月3日的使用者大會上,星環宣佈新增人工智慧的產品線,並與雲、大資料、資料庫、一體機共同組成五大產品線。為什麼會開闢人工智慧產品線,這條產品線又如何與其它產品線相關聯呢?
“在幫助使用者打好資料基礎之後,我們發現還需要幫助使用者解決在人工智慧方面的准入門檻,這就是我們選擇開闢人工智慧產品線的初衷。”劉汪根這樣表示。據悉目前星環的人工智慧產品線在做兩件事,一件是打造通用的工具,讓合作伙伴快速切入應用,另一件是和合作夥伴共同打造垂直市場的人工智慧解決方案。
星環人工智慧產品線如何與其它產品線關聯呢?星環的研發體系是一個“中臺+前臺”的設計,就人工智慧產品線而言,有一些產品是人工智慧專有的,例如建模工具、模型篩選、應用對接等等。但其底層開發卻需要其他產品線的配合,例如基於Spark的計算引擎、基於TensorFlow的計算引擎、所有後臺、服務治理、技術軟體安全等等都是由中臺研發部門統一提供。這樣的研發體系設計使得星環不論是產品釋出還是對於客戶業務需求的響應速度都比之前快很多。
“Hadoop是對傳統資料倉儲的補充而非替代”,時至今日我已不再認同
2006年,Apache Hadoop專案正式啟動以支援MapReduce和HDFS的獨立發展,當時甚至是在Hadoop發展了一段時間之後,很多人都稱“Hadoop是對傳統資料倉儲的補充而非替代。”時至今日,Hadoop應用場景日益豐富,業內專家是否還認同這一觀點呢?
“我不是特別認同這個觀點了”,劉汪根明確的表達了自己的想法,“如果你只是使用開源的Hadoop,那麼很可能你並不能適用核心功能,所以只能是資料倉儲的一個補充。但是當我們通過資料多加工、支援高併發使用者訪問、對接其它系統、複雜SQL業務、多種業務建模、低延時的複雜事件處理、海量資料的高速檢索等等建造了一個完備的系統時,Hadoop就不再只是傳統數倉的補充,而是替代了。”
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31137683/viewspace-2155732/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 面對出海大潮與研發困境,中小團隊如何在競爭中突圍?
- 防範債務危機:2022困境資產如何解困突圍
- 星環科技平滑遷移方案加速國產化替代,助力大資料基礎軟體自主可控大資料
- 美國“卡脖子”的技術清單中,EDA軟體如何突圍?
- 由 Figma 封停大疆,看國產 IDE 如何應對與突圍?IDE
- 明勢資本黃明明:創新與世界,下一代基礎軟體的中國突圍之路
- 面對市場競爭,家政行業該如何成功突圍行業
- 針對工業基礎設施的勒索軟體攻擊趨勢
- 成為國產大資料基礎軟體第一股的星環科技,未來發展空間幾何? | 愛分析調研大資料
- 【面經】Java面試突擊Java面試
- 建言“十四五”:中國既有公共建築節能工作的困境與突圍(附下載)
- 如何使用ABP進行軟體開發之基礎概覽
- 普華永道:體驗設計助力車企突圍同質化困境(附下載)
- 國產基礎軟體熱度再起,有人問我怎麼看?
- 突擊學習之資料庫基礎彙總資料庫
- 【面經】資料庫面試突擊資料庫面試
- Web時代安全如何突圍Web
- 進擊的 Ansible(二):如何快速搞定生產環境 Ansible 專案佈局?
- 面對出現的職場困境,前端人如何保持競爭力?前端
- 專注自主研發,加速大資料基礎軟體國產化程式大資料
- 如何搭建良好的軟體測試環境?測試環境對軟體測試起到什麼作用?
- 軟硬兼施:騰訊遊戲的突圍路徑遊戲
- 華為供應鏈“限制升級”,國產晶片突圍刻不容緩晶片
- 《荒野亂鬥》國服能否成功突圍
- Filecoin的商業突圍
- 《太古神王2》如何 “紅海突圍”?
- 零基礎如何學習軟體測試
- 軟體測試基礎
- 滑鼠控制軟體有可能和虛擬機器軟體產生衝突虛擬機
- docker 生產環境基礎應用Docker
- Android開發實戰講解!GitHub上標星13k的《Android面試突擊版》,面試真題解析AndroidGithub面試
- 30年前一次奇怪的攻擊如何為勒索軟體佔領世界奠定了基礎
- 如何對Mac進行基礎檢測和速度測試Mac
- 企業資訊化管理軟體,如何走出開發困境
- 基礎 變數的作用範圍變數
- 國產基礎軟體百舸爭流:OLTP交易型資料庫之產品資訊錦集資料庫
- 小米Civi的女性突圍戰
- 快手的重壓與突圍