我該如何在自己的筆記本用盜版的PowerBI搞定1個億資料

weixin_34087301發表於2018-01-18

我們經常看到夥伴問到這類問題:
我的PowerBI怎麼這麼慢,不是說好的可以算一個億的資料嘛。

經過在社群交流,發現:
1、演算法並非很細膩。
2、自己的電腦是5000元左右的筆記本,普通CPU,記憶體4G。
3、32位的軟體版本,且Office也是盜版。
4、資料基本沒有做預處理,簡單粗暴放入。
...

Powerbi操作1000萬行的資料的分析處理,需要幾秒?
Powerbi好厲害啊,如果處理1億行資料需要多久?
支付寶面對幾億的資訊量,他們用的是什麼資料軟體啊?
Mysql能處理1億行資料嗎?

於是,這裡有一些思考:

軟體的能力是要和硬體結合的,不談硬體只談軟體是不對的。一旦資料上了千萬,都會用伺服器和軟體結合。這種指望1000元隨便買個電腦能處理幾個億的資料,這種思維本身就不合理。

正如:

你生的孩子再聰明,你不花錢培養,他能幹嘛。自生自滅啊。再好的軟體,沒有合適的硬體搭配都是浪費。

應該正視:

這個時代,最基本的是公平。技術可以降低門檻,但它無法抹殺公平,公平一直存在。指望 1000元 的媽媽 生個最強大腦 讓他自生自滅 最後成才 是不理性的 如果實現 也是對所有人的不公,因此不會出現。如果你在自己機器上安裝32G記憶體,配個i9的12核cpu,就可以試試幾十億的帕累託了,軟體是免費的。

雲端的好處是,自己不用購買硬體,而大家共享了雲端硬體資源,按需收費。在基礎資料少的時候,體現不出來差異,但資料量很大,就要軟硬配合了。

我們的理性做法是 改變錯誤的習慣 尊重知識 不要指望一夜暴富 要遵守規則 維護秩序 當別人要超過你的時候 他也必須付出一樣的代價 這才是良性的 大家才都會投資 而不是投機

下面這句最重要:微軟的使命已經進一步明確,是對每個人或組織賦能
我們除了要知道工具,還要把知識內化成能力,駕馭工具。

因此:

商務智慧方法論,是知識。
您工作了10年,是經驗。
power bi,是新一代工具。
硬體和平臺,是基礎建設。
這就是我們每個人公平的門檻,別人無法投機超越。

對於我們:

不讀書不看報,有空想沒知識。
工作不思考,有經歷沒經驗。
用excel,有工具沒power。
不花錢買硬體,有地沒房。
指望做出別人無法實現的工作,有多大可能呢~

所以:

大家應該有信心,大資料時代已到,但最初的視窗是給:
能玩資料的業務專家,以及懂業務的資料專家。
大家的心血投資必將得到回報。

powerbi已經遇到人才短缺瓶頸,上海的玩轉pbi業務專家應該保守年薪xx萬以上。說服公司用正版,能給用個好點的電腦,並處在一個不錯的領域,就是個人當下最好的機會。其他要素可以主觀努力完成。

相關文章