解決需求的實際過程記錄——10萬條降雨資料的處理

八叉樹發表於2019-02-28

需求: 師弟讓我幫他處理一個資料，是一個降雨資料，從2015.1.號到2016.12.31號收集的某地區的降雨資料，一共105000條資料，資料格式為csv格式，第一列為編號，第二列為時間，第三列為該時刻的降雨量，資料特徵是如果某段時間的前後都有36個0，則說明這段時間內為一場降雨，我們要做的是求一場降雨的起始時刻以及降雨總量。

初次看到資料的時候感覺思路挺清晰的，後來寫的時候發現處處是坑，好多細節需要注意到。先列出採坑記錄：

我用陣列的時候取值和賦值直接通過下標來實現，後來發現這樣還是不行滴，不說經常會出現問題，從寫程式碼的優雅感角度來說這是一種粗暴的方式，所以還是需要一種優雅的方式———定義建構函式

function Dictionary(){
    this.data = new Array();
    this.put = function(key,value){
        this.data[key] = value;
    };
    this.get = function(key){
        return this.data[key];
    };
    this.size = function(){
        return this.data.length;
    };
}
複製程式碼

對於下面的資料應該怎麼取值,開始我是result[0][0].start來獲取start的值，但是發現這種方式是錯誤的，正確的方式應該是result[0].start，即這樣理解：result是一個一維陣列，而不是二維陣列，陣列的每個元素是一個json元素

var result=[ [ start: '201501131150',
    end: '201501140950',
    sum: 15.599999999999984 ],
  [ start: '201501250430',
    end: '201501250910',
    sum: 1.4000000000000004 ],
  [ start: '201501262230',
    end: '201501270330',
    sum: 1.2000000000000002 ],
  [ start: '201501271320',
    end: '201501272050',
    sum: 1.0999999999999999 ],
  [ start: '201501281030',
    end: '201501290050',
    sum: 2.800000000000001 ]
 ]
複製程式碼

所以我的理解是上面的result與下面的result等價

var result=[ { start: '201501131150',
    end: '201501140950',
    sum: 15.599999999999984 },
  { start: '201501250430',
    end: '201501250910',
    sum: 1.4000000000000004 },
  { start: '201501262230',
    end: '201501270330',
    sum: 1.2000000000000002 },
  {start: '201501271320',
    end: '201501272050',
    sum: 1.0999999999999999 },
  { start: '201501281030',
    end: '201501290050',
    sum: 2.800000000000001 }
 ]
複製程式碼

檔案的讀寫操作，想把最後的結果類似上面的result格式寫入到TXT檔案中，剛開始用fs.writeFile方法，發現怎麼寫都不行，即時把result轉換成字串再寫入都不行，要麼獲取到空的陣列，要麼獲取到的全是逗號。後來想到：用迴圈來做吧，每次將陣列裡的一個json物件輸出到TXT檔案，注意這裡用Buffer轉換每次的數成二進位制的再寫入到檔案中

        var chunks=[];
        var length=0;
        result.forEach((item,index)=>{
            var start=item.start;
            var end=item.end;
            var sum=item.sum;
            var value=start+" "+end+" "+sum+" "+'\r\n';
            var buffer=new Buffer(value);
            chunks.push(buffer);
            length+=buffer.length;
            })
        var resultBuffer = new Buffer(length);
        for(var i=0,size=chunks.length,pos=0;i<size;i++){
            chunks[i].copy(resultBuffer,pos);
            pos+=chunks[i].length;
        }
        fs.writeFile('./result.txt',resultBuffer,function(err){
            if(err) throw err;
            console.log('write JSON into TEXT');
        });
複製程式碼

有一個問題要考慮的是如果一場降雨前面0的個數大於36的話，那麼這隻能算作一場降雨，如果不加其他約束條件的話前面有38個0的時候會算成3場雨的，所以我們需要當前面已經連續36個零的時候第第37個數不能為零(原諒我直接這麼暴力的寫，因為36個真的不算太多)

if (data[i][1] == 0 && data[i + 1][1] == 0 && data[i + 2][1] == 0 && data[i + 3][1] == 0 && data[i + 4][1] == 0 && data[i + 5][1] == 0&&
            data[i+6][1] == 0 && data[i + 7][1] == 0 && data[i + 8][1] == 0 && data[i + 9][1] == 0 && data[i + 10][1] == 0 && data[i +11][1] == 0&&
            data[i+12][1] == 0 && data[i + 13][1] == 0 && data[i + 14][1] == 0 && data[i + 15][1] == 0 && data[i + 16][1] == 0 && data[i + 17][1] == 0&&
            data[i+18][1] == 0 && data[i + 19][1] == 0 && data[i + 20][1] == 0 && data[i + 21][1] == 0 && data[i + 22][1] == 0 && data[i + 23][1] == 0&&
            data[i+24][1] == 0 && data[i + 25][1] == 0 && data[i + 26][1] == 0 && data[i + 27][1] == 0 && data[i + 28][1] == 0 && data[i + 29][1] == 0&&
            data[i+30][1] == 0 && data[i + 31][1] == 0 && data[i + 32][1] == 0 && data[i + 33][1] == 0 && data[i + 34][1] == 0 && data[i + 35][1] == 0&&
            data[i+36][1]!=0)
複製程式碼

還有一個問題是如果到了資料的最後一個數時就不用判斷後面還要36個0了，只需要判斷前面有36個零就ok了，所以這裡也要考慮到這個情況

 if ((data[j][1] == 0 && data[j + 1][1] == 0 && data[j + 2][1] == 0 && data[j + 3][1] == 0 && data[j + 4][1] == 0 && data[j + 5][1] == 0&&
                        data[j+6][1] == 0 && data[j + 7][1] == 0 && data[j+ 8][1] == 0 && data[j + 9][1] == 0 && data[j + 10][1] == 0 && data[j +11][1] == 0&&
                        data[j+12][1] == 0 && data[j + 13][1] == 0 && data[j+ 14][1] == 0 && data[j + 15][1] == 0 && data[j + 16][1] == 0 && data[j + 17][1] == 0&&
                        data[j+18][1] == 0 && data[j + 19][1] == 0 && data[j + 20][1] == 0 && data[j+ 21][1] == 0 && data[j + 22][1] == 0 && data[j + 23][1] == 0&&
                        data[j+24][1] == 0 && data[j + 25][1] == 0 && data[j + 26][1] == 0 && data[j + 27][1] == 0 && data[j + 28][1] == 0 && data[j + 29][1] == 0&&
                        data[j+30][1] == 0 && data[j + 31][1] == 0 && data[j + 32][1] == 0 && data[j + 33][1] == 0 && data[j + 34][1] == 0 && data[j + 35][1] == 0)
                        ||j==data.length-1 )
複製程式碼

最後要注意的是寫入到TXT檔案中時字串後面加上“\r\n"才能換行，這樣我們直接點開TXT檔案看到的才是經過換行的資料，如果是在字串後面加上”\n"那麼我們用編輯器開啟TXT檔案確實看到的也是換行後的資料，但是這時直接開啟TXT檔案看到的資料並沒有換行，所以這點也要注意
```
 var value=start+" "+end+" "+sum+" "+'\r\n';
複製程式碼
```
最後我們來看看得到的結果txt檔案，大功告成！

原始碼：

var fs = require("fs");

fs.readFile('./test.csv', function (err, data) {
    var table = new Array();
    if (err) {
        console.log(err.stack);
        return;
    }
    ConvertToTable(data, function (table) {
        var cont=[];
        var result=[]
        transform(table,cont);
        console.log("**************************************************")
        cont.forEach((item,index)=>{
            result[index]=item.data;
        })
        console.log(result)
        var chunks=[];
        var length=0;
        result.forEach((item,index)=>{
            var start=item.start;
            var end=item.end;
            var sum=item.sum;
            var value=start+" "+end+" "+sum+" "+'\r\n';
            var buffer=new Buffer(value);
            chunks.push(buffer);
            length+=buffer.length;
            })
        var resultBuffer = new Buffer(length);
        for(var i=0,size=chunks.length,pos=0;i<size;i++){
            chunks[i].copy(resultBuffer,pos);
            pos+=chunks[i].length;
        }
        fs.writeFile('./result.txt',resultBuffer,function(err){
            if(err) throw err;
            console.log('write JSON into TEXT');
        });

    console.log("程式執行完畢");
})
})


function ConvertToTable(data, callBack) {
    data = data.toString();
    var table = new Array();
    var rows = new Array();
    rows = data.split("\r\n");
    for (var i = 0; i < rows.length; i++) {
        table.push(rows[i].split(","));
    }

    callBack(table);
}

function transform(data,cont) {
    var k = 0;

    for (var i = 0; i < data.length; i++) {
        var list = new Dictionary();
        if (data[i][1] == 0 && data[i + 1][1] == 0 && data[i + 2][1] == 0 && data[i + 3][1] == 0 && data[i + 4][1] == 0 && data[i + 5][1] == 0&&
            data[i+6][1] == 0 && data[i + 7][1] == 0 && data[i + 8][1] == 0 && data[i + 9][1] == 0 && data[i + 10][1] == 0 && data[i +11][1] == 0&&
            data[i+12][1] == 0 && data[i + 13][1] == 0 && data[i + 14][1] == 0 && data[i + 15][1] == 0 && data[i + 16][1] == 0 && data[i + 17][1] == 0&&
            data[i+18][1] == 0 && data[i + 19][1] == 0 && data[i + 20][1] == 0 && data[i + 21][1] == 0 && data[i + 22][1] == 0 && data[i + 23][1] == 0&&
            data[i+24][1] == 0 && data[i + 25][1] == 0 && data[i + 26][1] == 0 && data[i + 27][1] == 0 && data[i + 28][1] == 0 && data[i + 29][1] == 0&&
            data[i+30][1] == 0 && data[i + 31][1] == 0 && data[i + 32][1] == 0 && data[i + 33][1] == 0 && data[i + 34][1] == 0 && data[i + 35][1] == 0&&
            data[i+36][1]!=0) {
            if((i+37)<=data.length) {
                for (var j = (i + 37); j <data.length; j++) {
                    if ((data[j][1] == 0 && data[j + 1][1] == 0 && data[j + 2][1] == 0 && data[j + 3][1] == 0 && data[j + 4][1] == 0 && data[j + 5][1] == 0&&
                        data[j+6][1] == 0 && data[j + 7][1] == 0 && data[j+ 8][1] == 0 && data[j + 9][1] == 0 && data[j + 10][1] == 0 && data[j +11][1] == 0&&
                        data[j+12][1] == 0 && data[j + 13][1] == 0 && data[j+ 14][1] == 0 && data[j + 15][1] == 0 && data[j + 16][1] == 0 && data[j + 17][1] == 0&&
                        data[j+18][1] == 0 && data[j + 19][1] == 0 && data[j + 20][1] == 0 && data[j+ 21][1] == 0 && data[j + 22][1] == 0 && data[j + 23][1] == 0&&
                        data[j+24][1] == 0 && data[j + 25][1] == 0 && data[j + 26][1] == 0 && data[j + 27][1] == 0 && data[j + 28][1] == 0 && data[j + 29][1] == 0&&
                        data[j+30][1] == 0 && data[j + 31][1] == 0 && data[j + 32][1] == 0 && data[j + 33][1] == 0 && data[j + 34][1] == 0 && data[j + 35][1] == 0)
                        ||j==data.length-1 ){
                        list.put("start", data[i + 36][0]);
                        list.put("end", data[j - 1][0]);
                        var temp = 0;
                        for (var n = i + 36; n <= j - 1; n++) {
                            temp = temp + Number(data[n][1]);
                        }
                        list.put("sum", temp);
                        break;
                    }
                }
                cont[k++] = list;
            }

        }
    }

}

function Dictionary(){
    this.data = new Array();
    this.put = function(key,value){
        this.data[key] = value;
    };
    this.get = function(key){
        return this.data[key];
    };
    this.size = function(){
        return this.data.length;
    };
}


複製程式碼

ES系列(五)：獲取單條資料get處理過程實現
2021-05-24
記錄一個前端bug的解決過程
2019-02-28
前端
資料庫變慢的處理過程
2010-10-18
資料庫
大資料的處理是怎樣的過程
2022-04-11
大資料
jquery的ajax傳遞資料過程中的資料處理
2017-03-23
jQuery
資料需求分析過程
2021-09-09
一次線上問題處理過程記錄
2021-12-12
Java使用javacv處理影片檔案過程記錄
2024-04-15
Java
一次資料庫異常的處理過程
2011-08-23
資料庫
ORACLE資料庫壞塊的處理 (一次壞快處理過程)
2009-11-20
Oracle資料庫
【故障處理】ORA-30012的解決過程
2016-11-07
大資料處理過程是怎樣
2022-12-05
大資料
記一次資料庫高CPU佔用率處理過程
2016-08-21
資料庫
億萬級資料處理的高效解決方案
2021-09-09
Oracle遷移資料庫過程記錄
2010-04-23
Oracle資料庫
oracle處理SQL的過程
2010-07-10
OracleSQL
記一次PMML檔案的處理過程
2019-02-02
oracle 儲存過程遊標中處理並記錄異常
2017-04-11
Oracle儲存過程
記錄一個拷貝檔案到GlusterFS卡住的解決過程
2017-11-03
詳述一條SQL引發的高CPU故障處理過程
2018-12-28
SQL
需求分析過程中專案裡可能需要的技術點記錄
2015-11-16
Tom寫的show_space過程---紀錄每條紀錄及表資料大小（zt）
2007-07-18
SQL語句的處理過程
2007-11-02
SQL
分散裝運處理的過程
2007-09-20
6 關於資料倉儲維度資料處理的方法探究系列——緩慢變化維處理——記錄最新記錄及上
2006-12-09
記錄一次資料庫CPU被打滿的排查過程
2022-08-31
資料庫
Ceph pg unfound處理過程詳解
2021-02-17
sql server資料庫附加錯誤的解決過程
2018-06-01
SQLServer資料庫
詳細記錄一次npm i canvas報錯的解決過程
2019-02-08
NPMCanvas
使用air實現熱過載時遇到的問題處理方式記錄
2021-02-24
AI
【實驗】【SQL】排序與rownum的關係暨利用rownum處理一實際需求
2009-09-04
SQL排序
資料轉換衝突及轉換過程中大物件的處理
2008-06-04
物件
使用csv批量匯入、匯出資料的需求處理
2020-09-30
python中PCA的處理過程
2021-09-11
PythonPCA
DOM在Ahooks中的處理過程
2022-07-21
Hook
SQL語句的處理過程修正
2013-12-03
SQL
OnWndMsg函式的處理過程
2014-06-22
函式
MySQL MaxCompute與AnalyticDB實現資料處理與轉換過程
2023-02-04
MySql

解決需求的實際過程記錄——10萬條降雨資料的處理

相關文章