打造屬於你自己的私人大資料顧問(科技|財經|生活購物方面)

baiyan_ben1900發表於2020-11-29
大資料

打造屬於你自己的私人大資料顧問--科技|財經|生活購物

突然想做些這個方便麵的事情，是由幾個動因造成的。這應該是一個長期系列記錄文章。想起什麼會慢慢的補全。

Motivation 起因

  1. 如今的資訊太多，基本上每天被大量資訊轟炸。且這些資訊基本上都是噪音。沒有什麼資訊量，或是你知道了也沒有對於自己的行為決策有幫助。簡單來說，雖然你知道了，但是對你沒用。有句話，說的好：“你關注的才是頭條”。注意力在當今這麼稀缺。被動接受資訊來的過於低效了。
  2. 由於現在的新聞資料大多都是二手，三手，。。。N收的。裡面摻雜著太多的不實資訊和立場以及情緒。新聞很多都是博眼球，吸引注意力的。主觀性很強。如果是一手的資料，還是較為可觀的。那麼，問題時我們去哪裡獲得？以及raw data獲取一般比較累人，繁瑣。還有進行大量的預處理。
  3. 個人資料資產化，是一個趨勢。現在大的平臺，facebook，亞馬遜，支付寶，微信。。。他們都有著億萬使用者的個人使用者的財務，消費，購物資訊。他們的商業大資料，給他們的商業決策和商業行動帶來了巨大的優勢。有時候，他們基於資料的報告，時常讓我們感覺大資料平臺比我們自己還要了解你自己。比如之前的什麼，支付寶個人年報，朋友圈個人年報，某個區域的消費趨勢。這麼好的大資料顧問，讓他們在預測和行為指導上受益匪淺。那麼， 我們個人能不能也有一個大資料的顧問呢？但我們在做一關於個人的決策的時候，我們從一個專業的大資料顧問那裡，從歷史資料，趨勢預測，實時資訊。。。等等方面提供資訊和建議。來幫助我們自己做出最後的決策呢？
  4. 第四個就是我個人的非常具體的事情了。在去年2019年的時候，我曾經想買一隻美股。就是蔚來汽車(NIO),當時的股價已經跌倒了2.7美元一股。那時和同事還在說，蔚來確確實實在做事情。也做出來產品。在怎麼樣，也值這個價格。。。然後，就是因為懶，也就沒去後續跟進了。今年2020年，9,10月份的時候，在漲到了27美元。我突然又想起來了，這個股票。主觀感覺，美股整個泡沫挺多。NIO都漲到了27了，不能買了。。。就在11/27號的時候，心在最新價格是54美元。BTW，我也挺看好理想（LI）汽車。然而現在也是價格很高。主觀感覺，不能買了。。。但是，我知道我這是主觀的感覺。於是想有沒有一種，客觀一點的方法，讓我能有一套方法來給我諮詢，給我個合適的買入時機呢？。。。好吧，其實，就是這第四點才是我想寫篇文章的最最主要的導火索。

那麼怎麼做，從哪幾方面入手呢

那麼，於是我清楚了目標就是根據客觀及時的資料，來給出行動的指導建議。我想想大概，我可以把問題分解成一下5個小的方面來細化處理。因為我實際上是想用大資料（公開的各種資料介面）獲取到足夠多的資訊，能對我的個人投資，科技行業市場，消費者需求，自己生活購物等方面形成指導性的建議。但是，這個題目有點太大了，且需求太籠統，不夠明確細化。那我就找個例子來實踐一下，看看效果吧。後面，有其他更具體的需求，我在慢慢加進來。擴充我的實踐經驗吧。

那麼，目前一個很具體的需求實踐，就是上面的第四點。我感覺電動汽車，車聯網，自動駕駛。。。這些都會最終落地，再造一個比智慧手機更大的智慧汽車產業。那麼，我到底還能不能去買蔚來和理想汽車的股票了，以及應該在什麼時間點去買了。比較，他們的股票現在已經漲起來了。

資料從哪裡來

那麼好吧，我現在第一點。資料從哪裡來入手。
關於這一點，我發現了一個不錯的資料來源。它已經著手作了，很多開放資料來源介面的資料獲取和清晰工作。AKShare。 AKshare是基於Python的財經資料介面庫。目的是實現對於股票，期貨，期權，基金，外匯，債券，指數，加密貨幣等金融產品的基本面資料，實時和歷史行情資料，衍生資料從資料採集，資料清洗到資料落地的一套工具，目前主要用於學術研究目的。
AkShare的特點是獲取的是相對權威的財經資料網站公佈的原始資料，通過利用原始資料進行各種資料來源之間的交叉驗證，進而再加工，從而得出科學的結論。1
原始碼可以在github上找到Source Code Link.
AKshare裡面的資料多是財經的資料來源，如下圖，
在這裡插入圖片描述
但是，我也發現他其實有一些其他的資料，可以供除財經以外的領域來使用的。比如， COVID-19事件，空氣質量，生活成本，微博輿情報告。。。啥的。嗯，感覺他像一個原始資料聚合平臺。不過，目前除了財經資料以外，其他的資料還是比較少的。
在這裡插入圖片描述
那麼，好了。結合我現在需求，我就直接看美股就好了。我想看下蔚來汽車的所有歷史股價資訊，作為raw data以備後用呢。該怎麼做呢？正好， 他裡面就有關於美股的函式介面可以使用。

在這裡插入圖片描述
使用下面的示例程式碼，就可以看到蔚來(NIO)自2018/09/12上市以來，所有558個交易日的股價變化(以日為單位)。

import akshare as ak
import mplfinance as mpf  # Please install mplfinance


hist_df = ak.stock_us_daily(symbol="NIO")  # Get U.S. NIO's price info
print(hist_df)

在這裡插入圖片描述
另外，我們也可以通過以下程式碼把它的股價變化畫出來。這樣更加形象直觀。

stock_us_daily_df = ak.stock_us_daily(symbol="NIO", adjust="qfq")
stock_us_daily_df = stock_us_daily_df[["open", "high", "low", "close", "volume"]]
stock_us_daily_df.columns = ["Open", "High", "Low", "Close", "Volume"]
stock_us_daily_df.index.name = "Date"
stock_us_daily_df = stock_us_daily_df["2018-09-12": "2020-11-26"]
mpf.plot(stock_us_daily_df, type='candle', mav=(3, 6, 9), volume=True, show_nontrading=False)

在這裡插入圖片描述
我們可以看到從2019年7月一個一個完美的指數曲線。。。嗯，確實是增長太快了。
好吧，先寫到這裡了。太晚了。畢竟這個系列要寫的東西太多了。。。後面慢慢寫吧。未完成的主題先列在下面好了。

資料處理

觀察資料

資料策略

給出行動指導

參考資料：

  1. AKShare Doc ↩︎

相關文章