如何獲取想要的資料?
前提:資料庫:MongoDB 數量級:千萬級
問題:經常需要用到一個特定條件的最新資料,但是這三個資料在不同表裡面,想著編寫個查詢語句,就不用挨個表去檢視。
預想方式一
在 navicat 查詢語句中編寫一個聚合查詢語句,但是不知道是什麼原因查了 600s 沒出結果就自動斷開(可能是超時了),最終這個方式以失敗告終 qaq
預想方式二
用 pytest 編寫單表查詢語句,需要的查詢條件在查詢語句外面傳遞。最終藉助著小機器人寫出來了。
反思
1.對時間型別轉換操作不熟悉導(不理解為要用 datetime.datetime.strptime 轉換獲取的 datetime.datetime.now())才能被 Mongo 查出來
2.Mongo 集合名寫錯導致一直查不到資料,這裡以後要加個集合能連線正確的判斷。
3.查詢欄位名寫錯導致一直查不到資料
4.這是最後發現的問題,也是最大的問題,編寫思路有嚴重的問題,其實一開始只需要用到兩個表,在對一張表裡面的結果欄位做篩選,就可以代替另一張表的條件查詢(這裡的條件查詢時間導致我編寫除錯這個簡單的指令碼一共花了 4 個小時),因為這裡的時間沒有加索引,也就是不管我篩選多麼短的時間,他都是從第一條最早建立的資料逐條匹配。這次對索引有了切身的體會。
收穫
1.查詢的速度的快慢取決於:網速 + 資料量 + 索引
2.編寫思路好壞取決於對資料庫的熟悉程度(索引 + 表結構)
3.還是想再誇一下索引,索引不是快一點點,是直接快到飛起
相關文章
- 如何呼叫API獲取你想要的資料API
- 如何使用商品詳情API介面來獲取想要的商品資料?API
- 關於如何獲取資料的方法
- 【譯】React如何獲取資料React
- 使用正則擷取URL,獲取你想要的
- 教你如何使用API介面獲取資料!API
- 如何用python分析xml獲取資料?PythonXML
- electron + go 如何從sqlite獲取資料GoSQLite
- 如何在前臺獲取模型的關聯資料模型
- 【譯】如何在React Hooks中獲取資料?ReactHook
- DataGridView如何獲取選中行資料並更新View
- Flutter 中的資料的獲取Flutter
- 如獲取獲取關聯資料的文件跟模型的關聯資料集呢模型
- SpringMVC的資料獲取問題SpringMVC
- 在MySQL中,如何獲取資料庫下所有表的資料行數?MySql資料庫
- 怎樣獲取jstree的節點資料_大資料獲客是怎樣獲取精準客源的JS大資料
- 爬取LeetCode題目——如何傳送GraphQL Query獲取資料LeetCode
- 如何透過API獲取實時商品資料API
- 如何使用API介面獲取淘寶商品資料API
- 如何使用js獲取USB掃碼槍資料JS
- 輕鬆利用Python爬蟲爬取你想要的資料Python爬蟲
- Python獲取jsonp資料PythonJSON
- 1.獲取資料
- 獲取Wireshark資料流
- Modbus ASCII 獲取資料ASCII
- 異源資料同步 → 如何獲取 DataX 已同步資料量?
- datatables 獲取 pageLength 和 pageStart,重新獲取table資料
- python的queue佇列獲取資料Python佇列
- 如何用R和API免費獲取Web資料?APIWeb
- 如何利用電商API介面來獲取商品資料API
- 如何教會小白使用API介面獲取商品資料API
- API介面的藝術:如何巧妙獲取商品資料API
- 如何利用API介面獲取電商平臺資料?API
- 拼多多商品資料如何透過api介面獲取API
- 大資料實戰:電商該如何利用大資料獲取流量?大資料
- 獲取天氣介面資料
- Mysql批量大資料獲取MySql大資料
- datatables使用ajax獲取資料