mongoDB中聚合函式java處理

VV不想說話發表於2019-04-14
MongoDB函式Java

1.問題

最近在做專案的時候碰到一個對mongoDB的資料處理，從MongoDB中拿到內嵌文件的時間排序的list。
一開始考慮到直接對mongoDB中的屬性排序，後面發現屬性存在內嵌文件中，所以處理中需要用到聚合函式。

思考

（key）解決這個問題的過程讓我學到很多，發現自己在解決一個問題不僅查詢問題的姿勢不對，浪費太多時間。而且在碰到問題之後，應該多看看解決辦法，甚至解決了之後要去思考問題，回顧問題。而不是像以前一樣，解決問題了就萬事大吉，拋之腦後。

2.解決

需要對document中的一個tweet_list 集合中的一個屬性 timestamp_ms進行排序。 組內排序

使用聚合框架，通過match，unwind，sort等不同的元件建立一個管道。
類似mysql中的多層巢狀子查詢。

mongoDB中js程式碼

db.text.aggregate(
    // Initial document match (uses index, if a suitable one is available)
    [
    { $match: {
        _id : ObjectId("5ca95b4bfb60ec43b5dd0db5")
    }},

    // Expand the scores array into a stream of documents
    { $unwind: '$tweet_list' },
     
     { $match: {
         'tweet_list.timestamp_ms': '1451841845660'
     }},

    // Sort in descending order
    { $sort: {
        'tweet_list.timestamp_ms': 1
    }}
    ]
)
複製程式碼

java實現此聚合函式

java中的Aggregation類，查詢條件的順序決定結果。

Aggregation agg = Aggregation.newAggregation(
        Aggregation.match(Criteria.where("_id").is(id)),
        Aggregation.unwind("tweet_list"),
        Aggregation.sort(Sort.Direction.ASC,"tweet_list.timestamp_ms"),
        Aggregation.project("tweet_list.timestamp_ms","tweet_list.text","tweet_list.created_at")

);
AggregationResults<JSONObject> results = mongoTemplate.aggregate(agg, "text", JSONObject.class);
//System.out.println("results"+results.getRawResults()); //獲取到的結果是document
//String res = results.getRawResults();
String json = com.mongodb.util.JSON.serialize(results.getRawResults());
System.out.println("JSON serialized Document: " + json);
JSONObject jso= JSON.parseObject(json);
JSONArray resultss=jso.getJSONArray("results");
System.out.println(resultss);
複製程式碼

3.擴充套件

管道pipeline

以下的管道操作符可以按照任意順序組合在一起使用。每個操作符都會接受一連串文件，對這些文件做了型別轉換後，將轉換後的文件作為結果傳遞給下一個操作符。直到最後一個管道操作符，將結果返回給客戶端。

篩選match

儘可能將帥選放在管道的前部。兩個原因：
1.先過濾掉不需要的文件，減少管道的工作量。
2.如果在project和group之前執行match，查詢可以用索引。
3.不能在match中使用地理空間操作符

投射project

類似select操作。可以用管道表示式，數學表示式，日期表示式，字元表示式，邏輯表示式等。

分組group

跟mysql中的分組比較像

排序sort

1 升序 -1 降序

限制limit

限制結果條數

跳過skip

丟棄結果中的前n個文件

拆分unwind

把陣列中的每個值拆分為單獨的文件，例如此問題中需要對一個document中的tweetlist進行排序，可以使用unwind把tweetlist中的不同map拆分成不同的文件。

結果返回

文件

mongoDB中聚合函式java處理

MapReduce

如果聚合框架中查詢語言不能不表達，需要用到MapReduce。
使用：把問題拆分為多個小問題，把各個小問題傳送到不同的機器上，每臺機器只負責完成一部分的工作，完成之後，再把零碎的解決方案合併。
步驟：
1.對映map：把操作對映到集合中每個文件
2.洗牌shuffle：按照鍵值分組，並將產生的鍵值組成列表放到對應的鍵中。
3.化簡reduce：把列表中的值化簡成一個單值，值被返回，繼續shuffle，然後最終每個鍵的列表只有一個值，即最終結果，
應用：
1.找到集合中所有鍵
2.網頁分類

相關文章