談談我和大資料的情緣及入門
當年我是做C#+Java軟體開發,然後考取OCP來了上海,立志要做一名DBA。只記得當年試用期剛過時,陰差陽錯輪到我負責公司的大資料平臺這塊,剛開始很痛苦,
一個陌生的行業,一個討論的小夥伴都沒有,一份現成資料都沒有,心情焦慮。後來我調整心態,從DB轉移到對大資料的研究,決定啃下這塊硬骨頭,把它嚼碎,把它消化吸收。
由於當時公司都是CDH環境,剛開始安裝卡了很久都過不去,後面選擇線上安裝,很慢,有時需要1天。後來安裝HDFS ,YARN,HIVE元件,不過對它們不理解,不明白,有時很困惑。這樣的過程大概持續三個月了。
後來看了很多博文,都是Apache Hadoop版本搭建,於是我先試試用Apache Hadoop搭建部署單節點和叢集,然後配置HA,最後我發現自己比較喜歡這種方式,因為我能瞭解其配置引數,配置檔案和常規命令等等,
再回頭去對比CDH安裝HDFS服務,真是太爽了,因為Apache Hadoop版本有真正體驗感,這時我就迅速調整方向 : 先Apache版本,再CDH。
由於公司專案環境,推進自己實在太慢,於是我在網上看各種相關影片教程;加n種群,在群裡潛水,看水友們提的問題自己會不會,不會就去查資料,會就幫助他們一起研究學習進步。
後來這樣的進度太慢了,因為很多群都是打廣告,潛水,沒有真正的技術討論氛圍,於是我迅速調整方向,自己建個QQ群,慢慢招兵買馬,和管理員們一起去管理,在過去的兩年裡我也學到了很多知識和認識和我一樣前進的小夥伴們,
現在也有很多已成為friends。
每當夜晚,我就會深深思考僅憑公司專案,網上免費課程影片,QQ群等,還是不夠的,於是我開始諮詢培訓機構的課程,在這裡提醒各位小夥伴們,報班一定要擦亮眼睛,選擇老師很重要,真心很重要,許多培訓機構的老師都是Java轉的,
講的是全是基礎,根本沒有企業專案實戰經驗;還有不要跟風,一定看仔細看清楚課程是否符合當前的你。
這時還是遠遠不夠的,於是我開始每天上下班地鐵上看技術部落格,積極分享。然後再申請部落格,寫博文,寫總結,堅持每次做完一次實驗就將博文,梳理好,寫好,這樣久而久之,知識點就慢慢夯實積累了。
再著後面就開始受邀幾大培訓機構做公開課,再一次將知識點梳理了,也認識了新的小夥伴們,我們有著相同的方向和目標,我們盡情的討論著大資料的知識點,慢慢朝著我們心目中的目標而努力著!
以上基本就是我和大資料的情緣,下面我來談談我對大資料入門的感悟。
1.心態要端正。
既然想要從事這行,那麼一定要下定決心,當然付出是肯定大大的,不光光是毛爺爺,
而更多的付出是自己的那一份堅持,凡事貴在堅持,真真體現在這裡。
後來我將我老婆從化工實驗室分析員轉行,做Python爬蟲和資料分析,當然這個主要還是靠她的那份堅持。
2.心目中要有計劃。
先學習Linux和Shell,再學習資料庫和SQL,再學習Java和Scala,
然後學習Apache Haoop、Hive、Kafka、Spark,朝大資料研發或開發而努力著。
3.各種方式學習。
QQ群,部落格,上下班看技術文章,選擇好的老師和課程培訓,
可以加速自己前進的馬拉松里程,其實一般都要看大家怎麼衡量培訓這個事的,time和money的抉擇,以及快速jump後的高薪。
4.專案經驗。
很多小白都沒有專案經驗也沒有面試經驗和技巧,屢屢面試以失敗告終,
這時大家可以找你們熟悉的小夥伴們的,讓他給你培訓他的專案,這樣就有了,當然可以直接網際網路搜尋一個就行,不過一般很難有完整的。
而面試,就看看其他人面試分享,學習他人。
最後,總結一句話,堅持才是最重要的。
最後,總結一句話,堅持才是最重要的。
最後,總結一句話,堅持才是最重要的。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/30089851/viewspace-2137359/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 淺談資料分析入門
- 談談資料建模和設計成功的三大能力
- 談談大資料採集和常見問題大資料
- 淺談資料倉儲和大資料大資料
- 大話PM 談談產品入門的經典語錄
- 談談資料湖和資料倉儲
- 談談Markdown的認識與入門
- 談談java入門的那些事兒Java
- 談談阻礙資料建模的5大藉口
- 談談資料資產和資料產品的異同
- 跟你談談MySQL資料庫入門學習之安裝篇(轉)MySql資料庫
- 談一談阻礙資料建模的5大藉口
- 談談中國資料治理的五大特點
- 談談React.js的核心入門知識ReactJS
- 漫談對大資料的思考大資料
- 談談人工智慧和機器學習的資料架構人工智慧機器學習架構
- 談談資料的貨幣化及相關戰略制定
- 談談實現資料價值的四大要素
- 談談資料目錄應具備的四大能力
- 談談資料從sql server資料庫匯入mysql資料庫的體驗(轉)Server資料庫MySql
- 談談資料產品團隊的角色和職責
- 談一談資料管理的格局
- 談談資料的貨幣化
- 今天談談.NET與Java,入門語言的選擇Java
- 從OpenSSL漏洞談及資料安全
- 談談2023年資料治理的5大趨勢
- 談談資料湖分散式資料治理的資料目錄應具備的四大能力分散式
- 淺談大資料、資料分析、資料探勘的區別!大資料
- 談談Linux下的資料流重定向和管道命令Linux
- 談談資料倉儲架構的發展和分類架構
- Matt Pietrek訪談,談他對.NET的看法及Numega工作情況(英文) (轉)
- 談談資料治理角色和職責:資料管理的關鍵參與者
- 談談資料編織(Data Fabric)和資料網格(Data Mesh)的關係
- 淺談之SpringBoot的環境搭建及快速入門Spring Boot
- 談談我對深拷貝和淺拷貝的理解
- 讓我們談談自動駕駛的未來和「道德」自動駕駛
- 淺談醫學大資料(上)大資料
- 淺談醫學大資料(中)大資料