打造屬於你自己的私人大資料顧問(科技|財經|生活購物方面)
打造屬於你自己的私人大資料顧問--科技|財經|生活購物
突然想做些這個方便麵的事情,是由幾個動因造成的。這應該是一個長期系列記錄文章。想起什麼會慢慢的補全。
Motivation 起因
- 如今的資訊太多,基本上每天被大量資訊轟炸。且這些資訊基本上都是噪音。沒有什麼資訊量,或是你知道了也沒有對於自己的行為決策有幫助。簡單來說,雖然你知道了,但是對你沒用。有句話,說的好:“你關注的才是頭條”。注意力在當今這麼稀缺。被動接受資訊來的過於低效了。
- 由於現在的新聞資料大多都是二手,三手,。。。N收的。裡面摻雜著太多的不實資訊和立場以及情緒。新聞很多都是博眼球,吸引注意力的。主觀性很強。如果是一手的資料,還是較為可觀的。那麼,問題時我們去哪裡獲得?以及raw data獲取一般比較累人,繁瑣。還有進行大量的預處理。
- 個人資料資產化,是一個趨勢。現在大的平臺,facebook,亞馬遜,支付寶,微信。。。他們都有著億萬使用者的個人使用者的財務,消費,購物資訊。他們的商業大資料,給他們的商業決策和商業行動帶來了巨大的優勢。有時候,他們基於資料的報告,時常讓我們感覺大資料平臺比我們自己還要了解你自己。比如之前的什麼,支付寶個人年報,朋友圈個人年報,某個區域的消費趨勢。這麼好的大資料顧問,讓他們在預測和行為指導上受益匪淺。那麼, 我們個人能不能也有一個大資料的顧問呢?但我們在做一關於個人的決策的時候,我們從一個專業的大資料顧問那裡,從歷史資料,趨勢預測,實時資訊。。。等等方面提供資訊和建議。來幫助我們自己做出最後的決策呢?
- 第四個就是我個人的非常具體的事情了。在去年2019年的時候,我曾經想買一隻美股。就是蔚來汽車(NIO),當時的股價已經跌倒了2.7美元一股。那時和同事還在說,蔚來確確實實在做事情。也做出來產品。在怎麼樣,也值這個價格。。。然後,就是因為懶,也就沒去後續跟進了。今年2020年,9,10月份的時候,在漲到了27美元。我突然又想起來了,這個股票。主觀感覺,美股整個泡沫挺多。NIO都漲到了27了,不能買了。。。就在11/27號的時候,心在最新價格是54美元。BTW,我也挺看好理想(LI)汽車。然而現在也是價格很高。主觀感覺,不能買了。。。但是,我知道我這是主觀的感覺。於是想有沒有一種,客觀一點的方法,讓我能有一套方法來給我諮詢,給我個合適的買入時機呢?。。。好吧,其實,就是這第四點才是我想寫篇文章的最最主要的導火索。
那麼怎麼做,從哪幾方面入手呢
那麼,於是我清楚了目標就是根據客觀及時的資料,來給出行動的指導建議。我想想大概,我可以把問題分解成一下5個小的方面來細化處理。因為我實際上是想用大資料(公開的各種資料介面)獲取到足夠多的資訊,能對我的個人投資,科技行業市場,消費者需求,自己生活購物等方面形成指導性的建議。但是,這個題目有點太大了,且需求太籠統,不夠明確細化。那我就找個例子來實踐一下,看看效果吧。後面,有其他更具體的需求,我在慢慢加進來。擴充我的實踐經驗吧。
那麼,目前一個很具體的需求實踐,就是上面的第四點。我感覺電動汽車,車聯網,自動駕駛。。。這些都會最終落地,再造一個比智慧手機更大的智慧汽車產業。那麼,我到底還能不能去買蔚來和理想汽車的股票了,以及應該在什麼時間點去買了。比較,他們的股票現在已經漲起來了。
資料從哪裡來
那麼好吧,我現在第一點。資料從哪裡來入手。
關於這一點,我發現了一個不錯的資料來源。它已經著手作了,很多開放資料來源介面的資料獲取和清晰工作。AKShare。 AKshare是基於Python的財經資料介面庫。目的是實現對於股票,期貨,期權,基金,外匯,債券,指數,加密貨幣等金融產品的基本面資料,實時和歷史行情資料,衍生資料從資料採集,資料清洗到資料落地的一套工具,目前主要用於學術研究目的。
AkShare的特點是獲取的是相對權威的財經資料網站公佈的原始資料,通過利用原始資料進行各種資料來源之間的交叉驗證,進而再加工,從而得出科學的結論。1
原始碼可以在github上找到Source Code Link.
AKshare裡面的資料多是財經的資料來源,如下圖,
但是,我也發現他其實有一些其他的資料,可以供除財經以外的領域來使用的。比如, COVID-19事件,空氣質量,生活成本,微博輿情報告。。。啥的。嗯,感覺他像一個原始資料聚合平臺。不過,目前除了財經資料以外,其他的資料還是比較少的。
那麼,好了。結合我現在需求,我就直接看美股就好了。我想看下蔚來汽車的所有歷史股價資訊,作為raw data以備後用呢。該怎麼做呢?正好, 他裡面就有關於美股的函式介面可以使用。
使用下面的示例程式碼,就可以看到蔚來(NIO)自2018/09/12上市以來,所有558個交易日的股價變化(以日為單位)。
import akshare as ak
import mplfinance as mpf # Please install mplfinance
hist_df = ak.stock_us_daily(symbol="NIO") # Get U.S. NIO's price info
print(hist_df)
另外,我們也可以通過以下程式碼把它的股價變化畫出來。這樣更加形象直觀。
stock_us_daily_df = ak.stock_us_daily(symbol="NIO", adjust="qfq")
stock_us_daily_df = stock_us_daily_df[["open", "high", "low", "close", "volume"]]
stock_us_daily_df.columns = ["Open", "High", "Low", "Close", "Volume"]
stock_us_daily_df.index.name = "Date"
stock_us_daily_df = stock_us_daily_df["2018-09-12": "2020-11-26"]
mpf.plot(stock_us_daily_df, type='candle', mav=(3, 6, 9), volume=True, show_nontrading=False)
我們可以看到從2019年7月一個一個完美的指數曲線。。。嗯,確實是增長太快了。
好吧,先寫到這裡了。太晚了。畢竟這個系列要寫的東西太多了。。。後面慢慢寫吧。未完成的主題先列在下面好了。
資料處理
觀察資料
資料策略
給出行動指導
參考資料:
相關文章
- 揭秘淘寶搜尋API:打造你的專屬購物搜尋引擎!API
- 打造屬於自己的underscore系列 ( 二 ) - 資料型別診斷資料型別
- 基於Gitea打造一個屬於你自己的程式碼託管平臺Git
- Step-by-step,打造屬於自己的vue ssrVue
- 打造屬於自己的underscore系列 ( 一 ) - 框架設計框架
- 基於 vue-cli3 打造屬於自己的 UI 庫VueUI
- 基於react native打造屬於自己的部落格appReact NativeAPP
- 打造屬於你自己的instagram! 全棧專案(react + egg.js)全棧ReactJS
- 華熙LIVE五棵松打造新型購物模式,滿足顧客多樣購物需求模式
- 從今天開始,拿起VuePress打造屬於自己的專屬部落格Vue
- 打造屬於自己的underscore系列(六)- 洗牌演算法演算法
- 基於Koa2打造屬於自己的MVC框架MVC框架
- 豚鼠經濟崛起:未來的科技界屬於這些資料黨
- 帶你學習透過GitHub Actions如何快速構建和部署你自己的專案,打造一條屬於自己的流水線Github
- 程式設計師生存定律-打造屬於自己的稀缺性程式設計師
- 程式設計師生存定律——打造屬於自己的稀缺性程式設計師
- 程式設計師生存定律:打造屬於自己的稀缺性程式設計師
- 訂閱屬於自己得資料(Visitor) (轉)
- [小團隊自動化] 基於Gitea打造一個屬於你自己的程式碼託管平臺Git
- 屬於你自己的Qzone (1)---- 專案介紹
- 程式設計師如何打造屬於自己的雲筆記服務程式設計師筆記
- 如何在電腦中建立屬於自己的私密資料夾?
- 零壹財經 & 天冕科技:2021隱私計算專利報告
- 生活資料:關於撒謊,你心中有“數”嗎?
- 基於 Gitea+Drone CI+Vault 打造屬於自己的CI/CD工作流Git
- 從零開始,打造屬於你的 ChatGPT 機器人!ChatGPT機器人
- 打造屬於自己的cnpm/npm安裝,生成自定義專案架構NPM架構
- H5打造屬於自己的影片播放器(HTML篇)H5播放器HTML
- IntelliJ IDEA + Tomcat + RestFul + Mysql打造屬於自己的伺服器IntelliJIdeaTomcatRESTMySql伺服器
- 資料建模實戰,Smartbi帶你玩轉購物籃分析
- webpack4.x版本各種常見配置,快來打造屬於你自己的工作流吧(2Web
- MarketingCharts:零售資料指出頻繁購物的顧客並不總是忠誠的GC
- 打造你專屬的ubuntu系統Ubuntu
- 打造屬於自己的underscore系列(五)- 偏函式和函式柯里化函式
- 用AI打造一個屬於自己的歌手,讓她C位霸氣出道AI
- H5打造屬於自己的影片播放器(JS篇1)H5播放器JS
- H5打造屬於自己的影片播放器(邏輯篇)H5播放器
- 母親節的購物趨勢–資料資訊圖