有一道校招生的面試題，是要給一個很大的檔案（不能全部放記憶體，比如1T）按行來排序和去重。
一種簡單解決方案就是分而治之，先打大檔案分詞大小均勻的若干個小檔案，然後對小檔案排好序，最後再Merge所有的小檔案，在Merge的過程中去掉重複的內容。
在Linux下實現這個邏輯甚至不用自己寫程式碼，只要用shell內建的一些命令: split, sort就足夠了。我們把這個流程用指令碼串起來，寫到shell指令碼檔案裡。檔名叫sort_uniq.sh.
#!/bin/bash
lines=$(wc -l $1 | sed 's/ .*//g')
lines_per_file=`expr $lines / 20`
split -d -l $lines_per_file $1 __part_$1
for file in __part_*
do
{
sort $file > sort_$file
} &
done
wait
sort -smu sort_* > $2
rm -f __part_*
rm -f sort_*使用方法：./sort_uniq.sh file_to_be_sort file_sorted
這段程式碼把大檔案分詞20或21個小檔案，後臺並行排序各個小檔案，最後合併結果並去重。
如果只要去重，不需要排序，還有另外一種思路：對檔案的每一行計算hash值，按照hash值把該行內容放到某個小檔案中，假設需要分詞100個小檔案，則可以按照（hash % 100）來分發檔案內容，然後在小檔案中實現去重就可以了。