如何獲取想要的資料?
前提:資料庫:MongoDB 數量級:千萬級
問題:經常需要用到一個特定條件的最新資料,但是這三個資料在不同表裡面,想著編寫個查詢語句,就不用挨個表去檢視。
預想方式一
在 navicat 查詢語句中編寫一個聚合查詢語句,但是不知道是什麼原因查了 600s 沒出結果就自動斷開(可能是超時了),最終這個方式以失敗告終 qaq
預想方式二
用 pytest 編寫單表查詢語句,需要的查詢條件在查詢語句外面傳遞。最終藉助著小機器人寫出來了。
反思
1.對時間型別轉換操作不熟悉導(不理解為要用 datetime.datetime.strptime 轉換獲取的 datetime.datetime.now())才能被 Mongo 查出來
2.Mongo 集合名寫錯導致一直查不到資料,這裡以後要加個集合能連線正確的判斷。
3.查詢欄位名寫錯導致一直查不到資料
4.這是最後發現的問題,也是最大的問題,編寫思路有嚴重的問題,其實一開始只需要用到兩個表,在對一張表裡面的結果欄位做篩選,就可以代替另一張表的條件查詢(這裡的條件查詢時間導致我編寫除錯這個簡單的指令碼一共花了 4 個小時),因為這裡的時間沒有加索引,也就是不管我篩選多麼短的時間,他都是從第一條最早建立的資料逐條匹配。這次對索引有了切身的體會。
收穫
1.查詢的速度的快慢取決於:網速 + 資料量 + 索引
2.編寫思路好壞取決於對資料庫的熟悉程度(索引 + 表結構)
3.還是想再誇一下索引,索引不是快一點點,是直接快到飛起
相關文章
- 如何呼叫API獲取你想要的資料API
- 如何使用商品詳情API介面來獲取想要的商品資料?API
- 【譯】React如何獲取資料React
- 關於如何獲取資料的方法
- 在ActionForm中如何獲取session中的資料?ORMSession
- 教你如何使用API介面獲取資料!API
- electron + go 如何從sqlite獲取資料GoSQLite
- 如何在前臺獲取模型的關聯資料模型
- android如何獲取listview中的任意行資料AndroidView
- 【譯】如何在React Hooks中獲取資料?ReactHook
- 如何用python分析xml獲取資料?PythonXML
- 如何使用API介面獲取淘寶商品資料API
- ckeditor獲取資料
- Flutter 中的資料的獲取Flutter
- iOS 8 3之後如何獲取App內的資料iOSAPP
- 在RFT中如何獲取JTable中的所有資料?
- 如獲取獲取關聯資料的文件跟模型的關聯資料集呢模型
- DataGridView如何獲取選中行資料並更新View
- 如何教會小白使用API介面獲取商品資料API
- 如何利用電商API介面來獲取商品資料API
- 如何使用js獲取USB掃碼槍資料JS
- 如何利用API介面獲取電商平臺資料?API
- 如何透過API獲取實時商品資料API
- 在MySQL中,如何獲取資料庫下所有表的資料行數?MySql資料庫
- 機器人的「語料」,如何獲取?機器人
- 異源資料同步 → 如何獲取 DataX 已同步資料量?
- 大資料實戰:電商該如何利用大資料獲取流量?大資料
- 獲取Wireshark資料流
- 1.獲取資料
- Modbus ASCII 獲取資料ASCII
- 怎樣獲取jstree的節點資料_大資料獲客是怎樣獲取精準客源的JS大資料
- Excel 提取想要的資料Excel
- 拼多多商品資料如何透過api介面獲取API
- 如何教會小白使用淘寶API介面獲取商品資料API
- 如何高效地利用淘寶API介面獲取商品資料API
- API介面的藝術:如何巧妙獲取商品資料API
- Thymeleaf+SpringMVC,如何從模板中獲取資料SpringMVC
- 如何用R和API免費獲取Web資料?APIWeb