傳統上的叢集運算
大型叢集電腦設計其實從電腦誕生的年代就有了。 傳統上的計算主流偏向科學計算(例如氣候模擬、飛彈、流體力學)等 High Performance Computing。 這型別的演算通常用到大量的線性代數、大量的浮點數運算、但實際處理的資料多半不會太大。
事實上,在許多學術及軍事機構中,還是有大量的這種超級電腦在進行演算以輔助研究。 它們從傳統上就與新進的大資料佔有不同市場, 使用的語言也不同 (fortran還是目前最快的 high performance computing language)
不過隨著網路科技的演進,我們有了一個新的大型叢集運算的需求。 我們每天在網路上的各種行為,都會被記錄下來:搜尋、逛頁面、買東西、逛facebook、看到的廣告等等。
將這些資料蒐集起來並且拿來算錢,成了新的叢集運算新星。 處理這些資料時,和傳統的HPC非常不同。HPC的資料量一般不大,但需要大量的浮點數計算; 大資料技術則反之,資料量很大,但計算相較簡單。
與此相對的硬體設計也完全不同。HPC的硬體叫做blade,硬碟很小,但CPU、記憶體、主機板通通都是高檔貨; 大資料的硬體則通常要求每臺主機都要有很大的硬碟,使得很多資料不需要在網路中傳輸,可以在本機計算就在本機計算。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31557820/viewspace-2215938/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Kubernetes 叢集搭建(上)
- Tidb 運維--叢集檢視的使用TiDB運維
- 高效能運算GPU解決方案系列教程二–高效能運算叢集效能指標GPU指標
- redis哨兵,叢集和運維Redis運維
- RabbitMQ叢集運維實踐MQ運維
- 玩轉Redis叢集(上)Redis
- 資料的運算(上)
- 400+ 節點的 Elasticsearch 叢集運維Elasticsearch運維
- ElasticSearch 叢集的規劃部署與運維Elasticsearch運維
- 400+節點的 Elasticsearch 叢集運維Elasticsearch運維
- mongos分片叢集管理和運維Go運維
- 沃趣微講堂 | Oracle叢集技術(三):被誤傳的叢集自啟動Oracle
- Elasticsearch叢集運維相關知識Elasticsearch運維
- 阿里雲註冊叢集+Prometheus 解決多雲容器叢集運維痛點阿里Prometheus運維
- docker筆記41-ceph叢集的日常運維Docker筆記運維
- Ubuntu上kubeadm安裝Kubernetes叢集Ubuntu
- 如何在CentOS上建立Kubernetes叢集CentOS
- Zookeeper叢集 + Kafka叢集Kafka
- Ubuntu上搭建Hadoop叢集環境的步驟UbuntuHadoop
- Proxmox VE 超融合叢集實踐真傳
- 搭建zookeeper叢集(偽叢集)
- alertmanager叢集莫名傳送resolve訊息的問題探究
- Centos mini系統下的Hadoop叢集搭建CentOSHadoop
- Redis學習筆記(十七) 叢集(上)Redis筆記
- 使用Gardener在GoogleCloudPlatform上建立Kubernetes叢集GoCloudUDPPlatform
- 在滴滴雲上搭建 MongoDB 叢集 (一):MongoDB
- 在Ubuntu 18.04.1上安裝Hadoop叢集UbuntuHadoop
- 雲端計算替代傳統 IT,承載奧運的組織、運營和賽事轉播。
- Python 如何傳遞運算表示式Python
- 阿里超大規模 Flink 叢集運維實踐阿里運維
- Oracle RAC日常運維-NetworkManager導致叢集故障Oracle運維
- 怎麼學習雲端計算?雲端計算運維和傳統運維有何區別?運維
- 用Docker搭建RabbitMq的普通叢集和映象叢集DockerMQ
- 管理 ES 叢集:集常見的叢集部署方式
- zookeeper叢集及kafka叢集搭建Kafka
- opencv入門系列教學(六)影像上的算術運算(加法、融合、按位運算)OpenCV
- LNMP 分散式叢集(二):NFS檔案伺服器的搭建與檔案緩衝上傳的配置LNMP分散式NFS伺服器
- k8s叢集使用私有倉庫透過containerd上傳映象(沒解決...)K8SAI