最近在用python做資料統計，這裡總結了一些最近使用時查詢和總結的一些小技巧，希望能幫助在做這方面時的一些童鞋。有些技巧是很平常的用法，平時我們沒有注意，但是在特定場景，這些小方法還是能帶來很大的幫助。
1.在字典中將鍵對映到多個值上面
|
1 2 |
{'b': [4, 5, 6], 'a': [1, 2, 3]} |
有時候我們在統計相同key值的時候，希望把所有相同key的條目新增到以key為鍵的一個字典中，然後再進行各種操作，這時候我們就可以使用下面的程式碼進行操作：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
from collections import defaultdict d = defaultdict(list) print(d) d['a'].append(1) d['a'].append(2) d['a'].append(3) d['b'].append(4) d['b'].append(5) d['b'].append(6) print(d) print(d.get("a")) print(d.keys()) print([d.get(i) for i in d]) |
這裡是使用了collections中的方法，這裡面還擁有很多有用的方法，我們有時間在繼續進行深入瞭解。
上面程式碼執行結果：
|
1 2 3 4 5 |
defaultdict(, {}) defaultdict(, {'b': [4, 5, 6], 'a': [1, 2, 3]}) [1, 2, 3] dict_keys(['b', 'a']) [[4, 5, 6], [1, 2, 3]] |
我們將資料填入之後，相當於進行快速分組，然後遍歷每個組就可以統計一些我們需要的資料。
2.迅速轉換字典鍵值對
|
1 2 |
data = {...} zip(data.values(), data.keys()) |
data是我們的格式資料，使用zip後進行快速鍵值轉換，然後可以使用max，min之類函式進行資料操作。
3.通過公共鍵對字典進行排序
|
1 2 3 4 5 6 7 8 |
from operator import itemgetter data = [ {'name': "bran", "uid": 101}, {'name': "xisi", "uid": 102}, {'name': "land", "uid": 103} ] print(sorted(data, key=itemgetter("name"))) print(sorted(data, key=itemgetter("uid"))) |
資料格式就是data，我們想要對name或者uid進行排序我們就是用程式碼中的方法。
執行結果：
|
1 2 |
[{'name': 'bran', 'uid': 101}, {'name': 'land', 'uid': 103}, {'name': 'xisi', 'uid': 102}] [{'name': 'bran', 'uid': 101}, {'name': 'xisi', 'uid': 102}, {'name': 'land', 'uid': 103}] |
正如我們期望中的一樣
4.對列表中的多個字典根據某一欄位進行分組
注意注意，在進行分組前要首先對資料進行排序處理，排序欄位根據實際要求來選擇
即將處理的資料：
|
1 2 3 4 5 |
rows = [ {'name': "bran", "uid": 101, "class": 13}, {'name': "xisi", "uid": 101, "class": 11}, {'name': "land", "uid": 103, "class": 10} ] |
期望處理結果：
|
1 2 3 4 |
{ 101: [{'name': 'xisi', 'class': 11, 'uid': 101},{'name': 'bran', 'class': 13, 'uid': 101}], 103: [{'name': 'land', 'class': 10, 'uid': 103}] } |
我們按照uid進行分組，這裡只是演示，uid一般也不會重複。
這個比較複雜一點，我們一部一步來分解
|
1 2 |
some = [('a', [1, 2, 3]), ('b', [4, 5, 6])] print(dict(some)) |
結果：
|
1 |
{'b': [4, 5, 6], 'a': [1, 2, 3]} |
這裡我們的目的是將元組轉換成字典，這個很簡單，應該都能看懂。接著我們來下一步對待處理資料進行排序：
|
1 2 3 4 |
data_one = sorted(rows, key=itemgetter("class")) print(data_one) data_two = sorted(rows, key=lambda x: (x["uid"], x["class"])) print(data_two) |
這裡我們提供兩種排序方式原理相同，只是樣式稍有區別，第一種data_one是直接使用itemgetter，按照我們前面使用過得，直接按照某一欄位進行排序，可是有時候我們會有另一種要求：
先按照某一欄位排序，當第一欄位重複時，再按照另一欄位排序。
這時我們就用第二種方法，進行多欄位值排序。
排序結果如下：
|
1 2 |
[{'name': 'land', 'class': 10, 'uid': 103}, {'name': 'xisi', 'class': 11, 'uid': 101}, {'name': 'bran', 'class': 13, 'uid': 101}] [{'name': 'xisi', 'class': 11, 'uid': 101}, {'name': 'bran', 'class': 13, 'uid': 101}, {'name': 'land', 'class': 10, 'uid': 103}] |
結果大家慢慢看一下，還是略有差別。
接下來就進行最後一步了，將我們剛才講的兩種方式結合起來使用：
|
1 2 |
data = dict([(g, list(k)) for g, k in groupby(data_two, key=lambda x: x["uid"])]) print(data) |
我們對排序好的資料進行分組，然後生成元組列表，最後將其轉換成字典，這裡大功告成，我們成功將資料進行分組。
今天這些小技巧在處理一些資料方面還是很有幫助的，希望能幫到在這方面有需要的童鞋~