大資料相關

zbird1988發表於2013-09-05
大資料
從某種程度上說，大資料是資料分析的前沿技術。簡言之，從各種各樣型別的資料中，快速獲得有價值資訊的能力，就是大資料技術。明白這一點至關重要，也正是這一點促使該技術具備走向眾多企業的潛力。
 
大資料的4個“V”，或者說特點有四個層面：第一，資料體量巨大。從TB級別，躍升到PB級別；第二，資料型別繁多。前文提到的網路日誌、視訊、圖片、地理位置資訊等等。第三，價值密度低，商業價值高。以視訊為例，連續不間斷監控過程中，可能有用的資料僅僅有一兩秒。第四，處理速度快。1秒定律。最後這一點也是和傳統的資料探勘技術有著本質的不同。業界將其歸納為4個“V”——Volume，Variety，Value，Velocity。
物聯網、雲端計算、移動網際網路、車聯網、手機、平板電腦、PC以及遍佈地球各個角落的各種各樣的感測器，無一不是資料來源或者承載的方式。[3]
 
例子包括網路日誌，RFID，感測器網路，社會網路，社會資料（由於資料革命的社會），網際網路文字和檔案;網際網路搜尋索引;呼叫詳細記錄，天文學，大氣科學，基因組學，生物地球化學，生物，和其他複雜和/或跨學科的科研，軍事偵察，醫療記錄;攝影檔案館視訊檔案;和大規模的電子商務 。
 
換算關係
最小的基本單位是Byte，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，
　　它們按照進率1024（2的十次方）來計算：
　　1Byte = 8 bit
　　1 KB = 1,024 Bytes
　　1 MB = 1,024 KB = 1,048,576 Bytes
　　1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes
　　1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes
　　1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes
　　1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes
　　1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes
　　1 YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes
　　1 DB = 1024 YB = 1,237,940,039,285,380,274,899,124,224 Bytes
　　1 NB = 1024 DB = 1,267,650,600,228,229,401,496,703,205,376 Bytes
 
詳細內容：http://baike.baidu.com/view/6954399.htm
http://baike.baidu.com/view/9424571.htm

--------------------------------------------
NoSQL，是not only sql，是非關聯式資料庫，不同於oracle等關聯式資料庫。
hadoop,是分散式解決方案，即為Mapreduce（計算的）和HDFS（檔案系統）,使用Hadoop和NoSQL可以構造海量資料解決方案。
NoSQL是非關係型資料庫，Hadoop框架中的HBase即為NoSQL資料庫。
Hadoop是分散式軟體框架，他有很多子模組，包含HDFS、MapReduce以及HBase。
參考：http://zhidao.baidu.com/link?url=aomDPqKtV71K0EbpdlHsVreWxGHCwijlrU0iS_619yL15Ly938Sw21HwzhS-7sBMlXK0FlWdq9Bjh-y9dQuc9_
 
 
----------------------
老式鼓風機、手風琴
一個軟體系統類似一個社會，有不成熟慢慢變的成熟，健壯。

相關文章