思路隨筆 關於題庫和組卷功能的優化反思
剛才抽菸的時候,莫名想起了三週前處理的一個問題。
智慧組卷系統執行速度慢,併發能力差。
當時提出的解決方案是:
1、架構級別的優化,引入nosql、快取等技術對併發和請求的資料進行處理(已經使用了負載均衡)
2、採用分表處理,將題庫表按照查詢條件進行拆分,從而提高查詢速度。
3、將整個功能寫成儲存過程,將壓力轉移到DB伺服器。
最終我把儲存過程寫完了。但是沒有被採用。而是使用分表處理。
下面是我抽菸時想到的。
目前分表策略其實是以空間換時間:資料庫儲存空間複雜度上升,程式碼複雜度上升,但是換取了查詢速度。以後可能要在框架級別進行優化。用一些現有的大資料處理的框架,比如:spark 等Apache三個框架 。另,需要查閱一下HDFS等結構。從架構級別的優化,應該能達到秒級響應,並且併發處理也會變好。
God bless U
聯絡方式:981243247@qq.com
歡迎討論
相關文章
- 關於筆試和麵試的反思總結筆試
- 關於Execute to Parse %:比例太低的優化思路優化
- 關於分頁查詢的優化思路優化
- 隨筆~招聘工作反思
- 效能優化隨筆優化
- 關於GSoc的反思
- 關於sap效能優化的問題優化
- 請教關於構件化動態組合開發的思路.
- 關於軟體測試的幾點反思-關於測試團隊的組織
- 關於 SAP Spartacus CmsService.getComponentData 可能的優化思路優化
- 關於c#使用Npoi庫的一些隨筆C#
- 基於mysql資料庫 關於sql優化的一些問題MySql資料庫優化
- 關於vue的webpack打包優化問題VueWeb優化
- 卷積 隨筆備份卷積
- 關於mysql的優化MySql優化
- 關於機器學習的領悟與反思機器學習
- 關於尊嚴專案的反思
- 關於銅須門事件的反思事件
- 【轉】關於Oracle資料庫的效能優化心得Oracle資料庫優化
- 聊聊關於效能優化和其他(一)優化
- 關於在Vue中使用WebScoket的隨筆VueWeb
- 關於《隨筆》這個欄目
- 《TCP/IP 卷一》筆記、ping和traceroute 的實現思路TCP筆記
- 關於思路
- 關於Execute to Parse %:比例太低的最佳化思路
- 關於分頁查詢的最佳化思路
- 系統的優化思路優化
- 一次sql語句優化的反思SQL優化
- Mysql資料庫優化系列(一)------Mysql伺服器優化思路MySql資料庫優化伺服器
- 關於資料庫和jdbc的問題,指教資料庫JDBC
- 2 Day DBA-管理方案物件-監控和優化資料庫-關於SQL指導-語句優化和工作量優化物件優化資料庫SQL
- 關於SQL優化的闢謠SQL優化
- 關於sql語句的優化SQL優化
- 跨境電商後臺-關於上傳圖片的功能優化設計優化
- 關於介面設計的一些反思
- 關於程式設計的一些反思程式設計
- 關於首屏優化優化
- 一個程式設計師的讀書筆記——關於程式設計的反思程式設計師筆記