對於架構師而言，技術的發展是無盡的，在搭建和實踐智慧資料架構的過程中，架構師們都會或多或少地遇到一些疑惑和挑戰，如何解決在架構建設中遇到的某些問題？架構建設的領域又有什麼新的行業動態和技術方法？
近日，在個推TechDay全國沙龍北京站的現場，幾位資深架構師圍繞“以智慧資料架構，挖掘增長金礦”的主題，開啟了對智慧資料技術的深入探討。
貝殼金服2B2C CTO
史海峰 《架構之十年磨劍，大巧不工》
在傳統的IT行業中，企業級業務系統是技術水平的高峰，比如電信、金融、稅務系統。以電信行業為例，它有其獨有的行業特徵：業務系統本身就是生產系統，資訊化程度高；24小時全天候跨地域不間斷地提供服務；業務複雜，功能多樣等。電信行業中以中國移動為代表的架構設計規劃最為領先，該架構有一套完整的設計規範，整體建設週期也很長。
而在PC網際網路時代，電子商務紛紛崛起，很多網際網路電商平臺都面臨著從自營到平臺化轉變的挑戰。自營與平臺化最大的區別在於，自營只有一個商戶，而真正的平臺則需要像雲端計算一樣，支援多商戶的入駐與經營。對於架構師來說，要實現這樣的平臺轉型，需要有清晰的業務系統架構總圖、系統架構藍圖以及技術架構規劃。
進入到移動網際網路時代，手機的普及使得O2O快速發展。O2O平臺對於系統穩定性的要求非常高，而且對業務發展的響應速度也提出了新的 ，其所需要的技術架構非常複雜、需要有嚴謹的基礎架構和運維機制，還要維持創新能力。
到了產業網際網路時代，架構師應該對行業有更深入的理解和實踐，同時，也要有相應的架構思維，從“點、線、面、體”各維度提升認知，在進行架構建設時，架構師不僅要考慮到技術上實現的可能性，也要考慮到行業特點，以及企業各個方面對於網際網路技術的態度與需求。
個推平臺架構主管
王志豪 《微服務閘道器架構實踐》
微服務是指，將單一的應用程式拆分成多個微小的服務，各個小服務之間低耦合，高內聚，每個小的服務可以單獨進行開發，不依賴於具體的程式語言，也可以使用不同的資料儲存技術，各個服務可以獨立部署，擁有各自的程式，相互之間通過輕量化的機制進行通訊，所有的服務共同實現具體的業務功能。
個推整體的微服務架構，主要是基於Docker和Kubernetes進行實踐的。個推將應用服務分為三層，最上層是API閘道器，為服務提供統一的入口；第二層是業務邏輯層，主要實現具體的業務邏輯；最底層是基礎服務層，為同一產品線下的不同產品提供共同的基礎服務。
在構建整個微服務體系時，個推選擇了研發自己的閘道器。目前市面也有很多優秀的閘道器產品，但都並不是特別適合個推的微服務體系。
第一，個推的配置和服務註冊與發現均基於Consul實現的；
第二，很多的開源的閘道器的配置相對於個推的需求略顯複雜；
第三，由於不同的功能很難用統一的閘道器去實現，個推更希望在API閘道器的功能擴充套件上保持足夠的靈活性；
第四，個推的微服務體系是基於Docker和Kubernetes進行實踐的，其他的閘道器較難直接融入個推的微服務體系。
個推選取了OperResty+Lua作為實現閘道器的技術選型。其中OperResty是一個基於 Nginx 與 Lua 的高效能 Web 平臺，Lua則是一個較為輕量的、擴充套件性較強的語言。同時，個推也借鑑了Kong和Orange的外掛機制，通過外掛的方式實現閘道器功能的擴充套件。
個推的微服務閘道器的設計重點，體現在外掛的設計和請求過程，每個外掛都會在OpenResty的一個或多個階段起作用。在進行請求處理的時候，個推會按照產品配置和外掛規則篩選出具體執行的外掛，然後例項化外掛，對流量進行處理。個推微服務閘道器還有規則配置簡單，不同外掛實現靈活，配置基於Conusl實時熱更新等特點。在自己的微服務閘道器中，個推還實現了諸如動態路由、流量控制、Auth鑑權、鏈路追蹤、A/B Testing等功能。
在實踐微服務閘道器的過程中，個推還有一些有待改進的地方，比如：閘道器的彈性設計不夠、閘道器還需要進一步與DevOps進行結合等。
百度主任架構師
鄭然《搜尋引擎的大資料計算架構》
支援搜尋引擎計算的建庫部分中，有一個非常核心的系統：Tera，它是一個大型分散式表格儲存系統，可以進行高效能、可伸縮的半結構化儲存，同時支援儲存萬億量級的超鏈和網頁資訊。Tera系統有八個核心技術：
1、資料模型的全域性有序；
2、實時的讀寫和區間掃描（這一點與資料模型的全域性有序也密不可分）；
3、可以支援行式儲存和列式儲存；
4、友好的分散式檔案系統；
5、利用SSD cache熱資料；
6、資料壓縮，非同步IO和分組提交等效能優化手段；
7、支援秒級分裂合併，並且能夠實現自動負載均衡；
8、在分散式資料庫上實現了分散式事務。
Tera是百度搜尋引擎從批量處理邁向實時流式計算的最基礎的架構，它可以提供實時的讀寫能力，同時提供海量儲存和增量計算，並且節約增量成本。在研發方面，Tare也能夠使中間資料可見、Debug能力增強。
本質上來說，Tera是一個分散式儲存系統，它需要遵循分散式儲存系統的設計要素，包括：明確資料模型、儲存引擎的設計、資料分片的方式、如何管理後設資料、高可用的設計以及應用的是分層式還是豎井式的儲存。同時，儲存系統也需要進行效能優化工程的實踐，包括指標資料的採集和視覺化、先做profiling再手動優化、面向SSD進行程式設計、Batch&pipeline&asynchronous和學習儲存引擎的先進研究成果。
京東數科高階DBA
潘娟《Sharding-Sphere雲架構演化》
作為分散式資料庫的中介軟體，Sharding-Sphere可以藉助底層成熟的關係型資料庫進行增量持續的開發，這滿足了分散式的需求，並且能夠大大降低運維和接入成本。
同時，Sharding-Sphere也應該擁有四種核心能力：
1、能夠通過資料拆分或讀寫分離，實現資料分片的能力。具體來講，資料分片需要先通過SQL解析，對查詢語句進行優化、合併和改寫，再找到可以執行的SQL，最終實現結果歸併。
2、分散式事務能夠保證資料的一致性。在資料還未打散之前，我們可以用傳統的ACID（Atomicity、Consistency、Isolation、Durability）保障資料的一致性；但在資料被打散之後，我們則需要引進新的BASE原則（Basically Available、Soft state、Eventual consistency）來保障資料一致。有兩種方式可以實現分散式事務BASE：一種為XA，雖然XA支援回滾，能夠達到強一致性，但當併發量變大，它的效能會急劇下滑；而另一種方式是柔性事務，在這種方式下，當業務量急劇上升時，併發效能只會發生略微衰退，並且能夠保證，在最終達到一致。
3、資料庫治理。Sharding-Sphere可以通過註冊中心的操作，實現統一管理、熔斷或失效轉移的功能，同時可以通過拓撲圖和呼叫鏈來打造APM監控。
4、彈性伸縮。Sharding-Sphere是由 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar這3款相互獨立的產品組成的，他們均提供標準化的資料分片、分散式事務和資料庫治理功能。Sharding-JDBC更適用於單體應用和分散式微服務，它是一個輕量級的Java框架；Sharding-Proxy實現了MySQL的二進位制協議，並且不儲存任何資料；Sharding-Sidecar的核心是Service Mesh Sidecar，能夠幫助本地的應用層與網路節點進行溝通。