資料智慧的未來,是不再有大資料的概念
回首過去十年,我們見證了大資料從概念誕生到行業落地,逐漸發展到基於資料中臺驅動決策的資料智慧時代。作為後網際網路時代的產物,資料智慧必將是未來很長一個發展階段的核心所在。
每日互動(個推)作為資料智慧行業的代表企業之一,於今年迎來了第一個十年。在這十年間,個推以訊息推送起家,藉助技術力量拓寬以資料智慧為核心的業務範疇,現已成長為一家在A股上市的資料智慧企業。
但“資料智慧”這個詞,對於大眾來說仍然相對比較陌生。 資料行業資深從業者如何定義“資料智慧”?過去的十年間,個推經歷了怎麼樣的發展歷程?即將到來的“資料智慧”新十年,個推又將以什麼樣的角色參與當中?
在個推十週年之際,個推 CTO 葉新江針對上述疑問,與 SegmentFault 思否展開了一次對話。
01
何謂“資料智慧”?
隨著移動網際網路時代的到來,網際網路內容傳播和展現形式發生了巨大的變化,也讓資料的量級和形態發生了改變,資料服務也隨之發生了轉變。傳統的資料服務基本只針對於資料本身,而資料智慧作為一種由資料、算力和演算法等驅動的技術手段,具備著賦能企業進行管理和決策的能力。
Q1、資料智慧是今年非常熱門的一個話題,能否談談對於「資料智慧」和「資料中臺」的定義與理解?
目前資料經濟在國家層面是一個非常重要的發展方向,但同時也延伸出了一個亟待解決的問題 —— 如何把各個行業的資料作為生產要素,透過資料治理髮揮出更進一步的作用。
針對看不見摸不著的資料,需要有一個東西能進行有感管理,資料中臺就是一種用來進行資料治理的產品或者平臺,而資料智慧則屬於一個更為廣義的範疇,它是以資料作為生產資料,透過結合大規模資料處理、資料探勘、機器學習、人機互動、視覺化、雲端計算等多種技術,從大量的資料中提煉、發掘、獲取知識,為人們在制定決策時提供有效的支援,減少或者消除不確定性的解決方案。
這兩個詞看起來很接近,但其實是不同維度的。以我們公司來講,資料中臺更多的是一個產品,體現了我們公司的資料能力;而資料智慧則包含更多技術,融合了更多的行業知識,中臺是其中一個很重要的工具。打一個形象的比喻,資料中臺或者平臺是一個電腦的作業系統,而資料智慧則是結合業務,使用這個電腦,利用多種技術進行APP開發,並且不斷進行最佳化的過程。
Q2、您認為資料中臺的「行業壁壘」和「技術壁壘」分別是什麼?個推作為一個成功上市的專業資料智慧服務公司,自身在這個領域內具備的最大優勢是什麼?
目前市面上有很多資料中臺類的產品,據我們觀察,其中大部分的重點仍主要聚焦於資料治理的能力,但這可能只是資料中臺的“第一步”。
對於資料中臺產品來講,技術壁壘可能並不是很高。 中臺會應用到的技術,雖然有些功能可以透過直接使用開源產品來實現,但也有不少標準或者要求,比如安全性、實時性、視覺化能力等,需要專業的技術來定製實現。
當然在資料中臺層面,採用的技術架構不同、產品設計的理念不同也是可以有差異的,譬如是否容易使用、容易理解、對資源要求是否經濟等。
如果希望透過資料中臺中來解決業務問題,實現降本增效或者發現新的業務模式,這就不是資料治理能解決的問題,需要有對行業的深度理解,也就是所謂的行業壁壘。
個推和其他大資料公司的差別,就體現在如何挖掘資料價值的層面。
個推的第一款產品是訊息推送服務,這是一項跟資料緊密相關的業務。為了支撐這項業務的進行,實現訊息推送在海量資料量下的快速響應,個推一直在嘗試為企業內部打造一個業務 + 資料平臺的協同閉環。這也為之後公司推出資料服務產品打下了很好的基礎。
在資料服務層面,個推既是服務的提供者也是使用者,這是我們在這個領域內最大的優勢。
Q3、資料服務領域是否有一套標準化的判定體系?如何評定服務能力與技術水平的高低?
資料服務領域暫時還沒有一套國際或者國家權威機構提出的行業標準。 究其原因,是因為資料服務在不同的行業間有著很大的差別,與一般的技術體系相比,具備更強的服務屬性。
對於客戶來說,挑選資料服務的時候會有幾個考量的維度:
● 平臺是否可以快速部署;
● 部署所耗費的資源是否合理;
● 能否藉助資料服務快速實現業務提升; 譬如是否能快速開發出業務的新需求,是否能很好地完成內部各個角色間的協同。
這三項標準會是客戶選擇服務時的決策依據。但在選擇完之後,服務商應該如何完成、如何實現客戶提出的需求,因為沒有清晰的界定與評判方式,需要客戶在選型時進行綜合性的考慮,並在後續實際的業務場景中去感受平臺的服務能力。
這種情況其實也和市場需求有關。目前國內企業提出的需求都較為“定製化”,再加上不同行業間的差異,導致國內的資料服務公司大部分是結合行業提供垂直的資料服務能力。
02
個推發展的每一步,踩的都是行業需求
我國的數字經濟發展才剛剛開始,資料智慧服務的能力也在不斷迭代、發展。人工智慧、區塊鏈、知識圖譜、視覺化等新興技術,都可以作為底層的技術支撐為資料智慧服務賦能,從而讓我們的資料服務具備更強大的能力,產生更多價值。
Q1、個推的發展經歷了多個階段,技術也在不斷迭代和演進。能否簡要分享一下不同階段的業務邏輯重點以及技術研發重點?
個推是我們的訊息推送產品,做得比較早並且比較成熟了。但其實我們公司發展到現在已經十年了,業務範疇也早就不止是訊息推送了。
公司發展的第一個階段是 2010 年到 2013年。當時我們的核心團隊主要是在打磨訊息推送的能力,也就是一套大規模的通訊系統 + 網際網路搜尋系統,這是一個比較垂直但對於技術要求很高的領域。
2014年至2018年,公司進入了資料價值的“掘金”與“實踐”階段。在不斷精進推送能力的同時,我們發現系統產生了非常多的資料,如何讓這些資料發揮價值成為了我們需要思考和解決的問題 。也是從這個階段開始,個推開始致力於大資料系統的研發。
個推的訊息推送產品每天會產生幾十個 T 的資料,如何儲存、清洗、建模,如何在業務場景中產生商業化的價值,這是這一階段我們的研發重點。經過幾年的業務培養與場景實踐,我們將在資料服務領域沉澱下來的能力和 know how(知識、經驗、流程) ,變成一種可以服務於更多行業的產品,可以說公司正式進入到了資料智慧的階段。
2019年3月,每日互動成功在A股創業板上市,也引起了資料智慧領域的一次新風潮。
在今年的疫情過程中,個推資料智慧的能力得到了相當程度的驗證。疫情期間,我們與李蘭娟院士取得聯絡,與李蘭娟院士團隊合作成立聯合戰隊。透過大資料技術,聯合戰隊對疫情發展態勢進行了研判,幫助疫情防控部門找到工作重點區域、重點人群和重點場景。在全國逐步有序恢復生產的時候,個推也充分發揮大資料能力並參與其中,為多個省份的疫情聯防聯控與民生保障、復工復產的有序統籌提供了決策參考依據。
當然,個推的資料智慧服務仍然是在不斷迭代發展的。隨著人工智慧、區塊鏈、知識圖譜、視覺化等等新興技術的發展,這項基於資料的服務也將產生更多的價值。
Q2、個推致力於打造“每日治數平臺”,目標方向是什麼樣的?與一般的中臺產品有什麼區別?
「每日治數平臺」其實也是資料中臺的概念,但我們提供的資料服務主要是應用於資料治理領域,所以命名為治數平臺更為準確。
這個平臺還有一個提煉後的名字 —— DMP。D 代表了資料(DATA),M 代表了 機器(MACHINE),而 P 則代表了人(PEOPLE)和專業(PRO)。這幾個關鍵詞也代表了我們平臺的定位,即資料作為底層資料,快速專業地服務於具體業務當中。
我國的數字經濟發展其實才剛剛開始,據瞭解,不少企業並不知道該如何進行數字化、智慧化的轉型,業內也缺乏專業的資料人才。
因此,我們的目標方向和傳統的資料中臺不同。我們希望真正將個推 know how 的能力沉澱下來,形成客戶可以複用的服務或平臺產品。之所以想要打造這樣的一個平臺,背後其實也是基於使用者的實際需求。
Q3、個推的第一個客戶是哪家企業?
個推訊息推送業務的第一個客戶是新浪微博。當時微博非常火,有著上億的使用者量,訊息推送對他們來說是不可或缺的一項功能。
2011年,我們主動聯絡了微博相關業務的負責人,表示可以提供專業的訊息推送服務,用更低的成本來實現更好的效果,這也是我們能夠打動他們的原因。
之所以第一個客戶就敢挑戰“行業頂配”的難度,一方面是技術團隊自身具備紮實的技術基礎和行業基礎,另一方面就是前面提到的,我們在支援自身業務的過程當中沉澱下來的資料和技術能力。
有這樣一個需求明確的大客戶,讓我們的技術服務能力得以更加高效地迭代,大大加快了技術進步的速度。
接受挑戰並做到“極致”,正是我們公司的工程師文化,對此我們感覺很自豪。
Q4、目前面向的客戶群體有哪些,涉及哪些領域?
隨著資料能力的增強,以及對於行業理解的不斷加深, 我們目前的服務客戶已經擴充套件到四大領域 —— 網際網路、公共服務、風控服務和品牌營銷服務。
以金融領域為例, 很多金融機構內部有自己的 App,涉及推送、統計、分析之類非常繁複的資料和資訊處理場景。我們幫他們打造了一個整合的訊息平臺中心,解決了訊息處理的分散問題,改善了工作流程。在深度溝通之後,我們發現資料智慧服務在金融行業中是一個非常重度的業務場景,為此我們也在考慮開發專門針對金融行業的治數平臺。
Q5、對於資料公司來說,資料安全是紅線。個推如何保障資料安全性?
個推團隊自建立之初,便非常注重對於資料安全的保障。正如問題所說,資料安全對資料公司來說是紅線, 個推始終認為保護使用者資料隱私是企業必須要堅守和捍衛的行業準則、道德底線,並要時刻保持對資料安全的敬畏之心。
個推在嚴格落實合規和監管要求的同時,倡導行業自律,積極聯合行業夥伴的力量,共同推動行業的健康發展。今年8月,由個推牽頭起草的《資訊保安技術移動網際網路應用程式(App)SDK安全指南》國家標準專案,獲得全國資訊保安標準化技術委員會正式立項,這將有助於SDK行業在開發、運營、資訊處理、安全管理等環節向更規範的方向邁進。
在今年的浙江省網路攻防演練當中,個推在395家參選企業中不借助外部安全公司的力量,僅憑公司自身的安全能力,便取得了第 14 名的成績,還是很自豪的。
03
大資料的未來,是不提大資料但是資料又無處不在的時代,“你意識不到我的存在就是我最大的存在”
隨著資料產業的規模越來越大,生態分工在未來將會越來越細,資料服務也將越來越細。而隨著人工智慧、雲端計算、物聯網等技術的發展,大資料會不會和網際網路一樣,不再成為人們單獨討論的概念,而是成為像水電一樣的基礎設施,服務於各行各業中?
Q1、隨著社會的發展,未來的資料會呈現多形態共存的狀態。您認為未來幾年大資料領域會出現什麼樣的一些變化?哪些因素將推動這些變化?你們的生態佈局是怎麼樣的?
隨著 5G 的成熟,資料領域的發展將從基礎的量變迎來一次質變,成為像水電一樣的社會基礎設施。
近幾年大家其實很少再單獨討論網際網路的概念,其中的一個因素,我認為是網際網路已經不再是新鮮事物,現階段技術的發展基於網際網路但又高於網際網路,大資料之後的發展肯定也會這樣, 資料智慧的未來,雖然基於大資料,但是不會再單獨討論大資料的概念。
從技術層面來看,大資料行業的發展對海量資料的儲存、處理、挖掘需求肯定會越來越高,未來可能也會誕生出幾個巨頭,將行業進行更加明確的細分。這是一個大家已經能夠觀察到的趨勢。
隨著資料產業的規模越來越大,生態分工在未來將會越來越明確,資料類的服務也將越來越精細化。我們打造的個推每日治數平臺,就是希望能夠參與到生態的建設當中,甚至圍繞平臺打造出一種新的生態。
Q2、業內最近有個觀點:“雲原生體系架構是雲服務時代的資料管理方法論”,從技術角度來看,您如何評判雲與資料智慧間的關係?
不同的人評價同一件事肯定會有不同的出發點,這個觀點看起來應該是雲服務廠商提出的(笑)。很巧,我前一陣也跟吉利公司的人在討論這個問題,他們最近剛從一家雲廠商中遷移出來。
對企業來說,上不上雲、選擇公有云還是私有云、選擇哪家雲廠商需要考慮幾個維度: 成本吃不吃得消、是否自主可控、當不滿足業務需求或者服務需求時是否方便切換等。
以個推為例,我們目前不會將資料放到第三方的雲上,但從資源的排程、成本的控制等方面來看,雲體系已經是一個公認的標準答案,所以我們也會使用雲端計算的相關技術,比如容器雲、虛擬化等。
Q3、物聯網、AI、機器學習等新技術的出現,對行業來說是機會還是挑戰?個推應對技術的發展是否有做哪些前瞻性的探索?
新技術的出現,對行業來講既是機會也是挑戰。每次新技術的出現,都能為人類解放生產力或者提高生產力提供了可能性。
但一些技術因為過於“新”,暫時還沒有找到發揮能力的場景,沒辦法發揮出實際的社會價值,讓企業的投入與產出不成正比。
個推還成立了資料智慧研究院,目前研究的方向是探索如何將技術更好地服務於具體的業務當中。比如我們對物聯網技術方向的探索,是想將自身的推送技術能力延伸到電視機、汽車等場景當中;對機器學習和區塊鏈的探索則是為了進行一些業務模式的研究。
技術是面向未來的,但使用者的需求是現在的。對於我們來說,目前的重點還是如何藉助技術快速迭代服務能力,為使用者以及行業賦能。
回顧大資料行業和個推的發展時間線,不難發現個推成立的這十年,恰巧也是大資料從一種輔助工具向引領發展方向的核心引擎轉變的十年。
隨著大資料行業的發展,國家正在大力發展數字經濟,企業正在迎來一波藉助資料智慧實現數字化、智慧化的轉型新浪潮。 在這股浪潮中,開始“治數”的個推將會扮演一個什麼樣的角色?我們拭目以待。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31556026/viewspace-2747582/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 大資料是什麼?IPIDEA解析大資料的基本概念大資料Idea
- 資料智慧的現在與未來
- 大資料前景:大資料未來的7個發展方向大資料
- 什麼叫大資料 大資料的概念大資料
- IE大學:未來的資料經濟
- 大資料是什麼?一文帶你瞭解大資料的概念!大資料
- 資料庫內機器學習是資料分析的未來 - BDAN資料庫機器學習
- DataOps是現代資料棧的未來嗎?
- 90後資料庫大咖,如何看雲資料庫的未來?資料庫
- 我國大資料未來的發展方向大資料
- 原來大資料 Hadoop 是這樣儲存資料的大資料Hadoop
- 到底什麼才是大資料技術?大資料的概念?大資料
- 大資料概念:史上最全大資料解析大資料
- 資料賦能的未來,是嵌入式BI
- 個推CTO葉新江:資料智慧的未來,是不提大資料但其無所不在的時代丨思否專訪大資料
- 大資料教程系列之大資料概念大資料
- 大資料如何採集資料?大資料的資料從何而來?大資料
- 未來最好的大學專業,非大資料莫屬!大資料
- IPIDEA研究,大資料時代未來的發展趨勢是什麼?Idea大資料
- 【大資料】大資料行業洞察:未來2-3年或迎資料時代的真正高潮大資料行業
- 新的一年,來看看大資料與AI的未來展望大資料AI
- 大資料是什麼?大資料的趨勢?大資料
- Data Fabric:資料管理的未來已來
- 大資料的緣起、發展和未來構思大資料
- 未來大資料的主要應用領域包括哪些大資料
- 城市大資料的廣泛應用將使智慧城市的未來錦上添花!大資料
- 資料庫的概念資料庫
- HarmonyOS方舟資料管理的未來展望
- DBA在大資料雲端計算時代如何自保?未來資料庫的發展趨勢是怎樣的?大資料資料庫
- 【金猿人物展】白鯨開源CEO郭煒:未來資料領域的PK是大模型Transformer vs 大資料Transform大模型ORM大資料
- 2019年資料時代,你瞭解大資料未來的發展趨勢嗎?大資料
- 什麼是大資料?大資料開發是做什麼的?大資料
- 能窺見未來的大資料+AI,你瞭解多少?大資料AI
- 消除資料重力,從智慧湖倉(Lake House)讀懂實現資料價值的未來
- 電商商品API資料:概念、應用與未來趨勢API
- 元宇宙是資料空間?大資料時代的新趨勢來了元宇宙大資料
- 大資料時代之你不得不知道的大資料概念大資料
- 資料庫的未來:雲原生+分散式資料庫分散式