資料複雜性和簡單

辰令發表於2024-11-02

複雜性和簡單

1.深入複雜性,挖掘其本質
    資料工程中的真正極簡主義不是一種框架或資料棧工具包,而是一種心態。
    這樣的態度就是一種哲學,它更偏好簡單直接的解決方案,而不是複雜的全面系統。

該哲學包括一些關鍵原則:
	極簡主義			:專注於提供最大價值的核心功能,而不是試圖適應每個可能的場景或需求。
	接受權衡			:為了簡單、速度和易於維護,願意犧牲一些完整性和完美的程度。
	實用主義勝於理想主義:優先考慮實際可行的解決方案,高效地解決真實商業問題,而不是追求理論上完美但過於複雜的系統。
	減輕認知負荷		:設計易於理解、實施和維護的系統和流程,從而減少在多個工具和技術上的專長需求。
	成本效益			:採用通常需要較少計算資源和人力資本的簡單解決方案,從而降低成本。
	靈活性和適應性		:構建易於修改和演化的系統,以適應業務需求的變化,而不是僵硬且過度工程化的解決方案。
	重視成果			:強調最終結果和商業價值,而不是糾結於資料流程本身的複雜性。

    這種心態可能與現代資料工程中不斷增加工具、流程和層次的做法直接矛盾。因此,準備好為你的觀點辯護。
    在提出一個更簡單、更有效的解決方案前,必須先深入理解問題。這讓我想起了下面這句話:

     要讓某事變得簡單,需要付出巨大的努力,真正理解其中的挑戰,並找到簡潔而優雅的解決方案。
      […] 簡潔不僅僅是極簡主義或消除雜亂,而是要深入複雜性,挖掘其本質。要真正簡單,你必須深入研究。
      […] 你必須深刻理解產品的本質,才能去掉那些不必要部分。
     —— 史蒂夫·賈伯斯
      附註:採用極簡風格並不意味著忽視新的工具和技術進步。
  實際上,我目前最喜歡的資料倉儲解決方案之一是使用一個名為duckDB的新開源資料庫。瞭解一下,它相當不錯。

工程師和科學家

學語文和語文好的一樣,覺得語文簡單而數學複雜的場景型別
Engineers build things; scientists describe reality;
大部分的觀點:工程師只是跟隨科學家鋪設的道路,新增創造力和實際問題解決能力
      engineers only follow paths laid down by scientists, adding creativity and practical problem solving.
實際上呢
     在實際應用和創新過程中,工程師的實踐和創造性工作往往是推動科學發展的重要力量。
	 工程師透過建造和實驗來探索未知,這些實踐最終可能為科學理論提供實證基礎。
  這種觀點挑戰了那種認為科學總是先於工程,或者科學是工程的唯一指導的觀念。

從產品上看

雲端的、實時的、協作的、有版本控制的、基於程式碼的、可擴充套件的——這些特性Excel 都沒有
    實時資料的變化不可靠。協作不可靠。限制如何處理資料不可靠;
	但當他們可靠的時候呢?
    01.把 Excel 看作是資料庫與 BI 工具的結合體,全被打包進一個檔案裡
        原始資料以及你對這些資料的操作和展示-一個固定的快照
	02.直接性-學習曲線比其他工具要更直觀
透過 DuckDB 支援本地和遠端查詢資料的混合執行引擎。它既是一個沙盒,也是一個同步服務

軟體已經被商品化——這是技術進步、成本、複雜性降低以及程式設計技能普及的結果
軟體曾經是武器,現在只是工具

管你喜歡與否,人工智慧的進步都已到來,你需要積極做好準備
  開發總歸有一定目的,不管是做嵌入式系統、iPhone、Web 應用還是微軟的伺服器端應用

資料-資產的繼承和轉移

無法確定該資料的最終去向或資料的複製頻率
賬戶接管
調查是瞭解情況的重要手段,但是調查得到的資訊不一定就能反映真實情況
   沒有調查就沒有發言權,沒有調查就沒有決策權
   調查就是解決問題,調查那個問題的現狀和它的歷史
     不根據實際情況進行討論和審察,一味盲目執行,盲目地表面上完全無異議地執行上級的指示,
   這不是真正在執行上級的指示,這是反對上級指示或者對上級指示怠工的最妙方法
社會經濟調查
   物件的是社會的各階級,要明瞭社會各階級的政治經濟情況,各階級現在的以及歷史的盛衰榮辱的情況
   解剖各種社會階級,我們的終極目的是要明瞭各種階級的相互關係

相關文章