記錄學習雲端計算的筆記,主要是學習阿里雲上的幾個主要雲產品
基礎
雲分類
- 共有云:所有人都可以訪問的
- 私有云:私人使用的(通過內網實現)
- 混合雲:公有云和私有云混合使用(不重要的資料放公有云,重要資料放私有云,中間通過隧道技術連線)
雲端計算的服務模式
- IAAS:只提供單個基礎裝置,比如買一個雲伺服器(裸機)
- PAAS:提供基礎裝置並帶一些服務,比如買一臺雲伺服器(帶有LANM環境)
- SAAS:直接提供現成的軟體,比如office線上編輯
雲端計算的發展
CDN
用於內容快取,節點越多,使用者線上訪問視訊,圖片時載入/播放的就越快。
阿里雲
(1)灰色部分,提供基礎服務的軟體,整體叫做“飛天雲平臺”,每個模組軟體是獨立的。
(1)統一的運維平臺,統一的大資料威脅分析平臺等
ECS(雲伺服器)
(1)ECS是一種IAAS服務,即只提供雲伺服器。
(2)主要特點:即開即用、彈性伸縮
(3)一臺雲伺服器例項等同於一臺虛擬機器,包含CPU、記憶體、OS、網路、磁碟等基礎元件。
ECS和“飛天”雲平臺的關係:
ECS構建在飛天之上,其單機虛擬化通過XEN/KVM實現,儲存依賴於盤古分散式檔案系統。
雲盤
(1)本地盤:ECS是一臺虛擬機器,位於某一個物理主機上,若該ECS所配備的磁碟來自所在物理主機的磁碟,那就是本地盤。
(2)雲盤:磁碟空間來自盤古分散式檔案系統。
盤古分散式檔案系統:三副本策略
優:容量大,可靠性高;可任意掛載到不同例項上
劣:速度不如本地盤,效能略差
如何在ECS上增加新的雲盤?
(1)購買
(2)設定中掛載
(3)手動掛載
#查詢ECS中的磁碟資訊
fdisk -l
#進入掛載
fdisk /磁碟位置
輸入:n
建立擴充套件分割槽:e
分割槽大小:1-end
輸入:n
建立邏輯分割槽:l
分割槽大小:1-end
儲存即可
#格式化分割槽
mkfs.ext3 /邏輯分割槽位置
#檢視當前磁碟的掛載情況
df -h
#將分割槽掛載到對應資料夾
mount /邏輯分割槽位置 /掛載資料夾位置
雲盤如何解除安裝?
(1)設定中解除安裝雲盤
解除安裝後雲盤的資料和分割槽都還在,可以掛載到同一個可用區的任意ECS上。
如果要重新使用,需要重新掛載(mount)
安全組
- 就是一個虛擬的防火牆,可以配置出入規則
- 是可以跨區域的
網路
(1)經典網路
- 統一部署和管理
(2)專有網路(VPC)
- VPC之間邏輯上獨立【隔離】
- 可以自定義VPC的拓撲和IP地址
- 在混合雲中使用
每個VPC至少由一個路由器、一個私網網段、一個交換機組成
VPC如何連線公網?
(1)ECS固定公網IP
(2)彈性公網IP(EIP)
只能用於一臺VPC ECS例項與公網通訊。
(3)NAT閘道器
可以用於多臺VPC ECS例項和公網通訊。
(4)負載均衡
VPC與VPC之間如何通訊?
利用VPN閘道器
VPN閘道器?
- 是外接連線VPN的介面。
- 基於Internet的網路連線服務,通過加密通道的方式實現企業資料中心、企業辦公網路或者Internet終端與VPC安全可靠的連線,提供IPsec-VPN連線和SSL-VPN連線。
- 具有公網IP地址
API
支援HTTP或HTTPS網路請求協議,允許GET和POST方法。
呼叫方法:
(1)CLI:專有命令列,需要配置
(2)OpenAPI Explorer:圖形化介面操作
安全組
安全組不開放訪問埠,並不表示ECS沒有開啟該服務,安全組只是起了隔離的作用。
SLB(負載均衡)
在伺服器前端面對使用者,使用者所有的訪問請求都先到到達SLB,然後由SLB將使用者流量轉發給後端的伺服器,達到橫向擴充套件系統的作用。
特點:
作用:
(1)用於高訪問量的業務
(2)擴充套件應用程式
(3)消除單點故障
跨地域冗災:需要使用DNS
原理:
一個負載均衡例項是執行以惡搞負載均衡服務,要使用負載均衡服務,必須建立一個負載均衡例項,並至少新增一個監聽和兩臺ECS例項。
監聽用來檢查客戶端請求並將請求轉發給後段ECS,監聽也會對後端ECS進行健康檢查。
這裡SLB後端的ECS數量是不限制的。
概念總結:
實現:
SLB架構是採用叢集部署,提供四層(TCP協議和UDP協議)和七層(HTTP和HTTPS協議)的負載均衡。
入網流量走向:
TCP/UDP協議和HTTP/HTTPS協議的流量都需要經過LVS叢集進行轉發。
LVS叢集內的每臺ECS均勻分配海量訪問請求,並且每臺ECS之間都有會話同步策略,以保證高可用。
高可用:
資料同步備份,實現避免出現單點故障。
流量:
總結
(1)LSB支援的協議
四層(TCP協議和UDP協議)和七層(HTTP和HTTPS協議)
(2)可以自定義埠
(3)避免LSB本身故障導致的單點問題
建立多個LSB例項,痛毆DNS輪詢的方式對外提供服務,從而提高LSB的可用性。
(4)不限制支援ECS數量
(5)後端ECS不需要公網貸款麼?
(6)一個LSB,配合一組ECS,可以搭建多個網站同時執行
(7)不同OS的ECS可以作LSB
(8)LSB後端多個ECS同步:需第三方工具,如RSYNC
(9)不同地域的ECS不能使用一個LSB
(10)LSB的策略:輪訓、加權輪訓,加權最小連線數和一次性hash排程演算法
(11)ECS權重一樣,但實際負載不同:考慮是否開啟了會話保持(會話保持會將一個客戶端的請求轉發到後端一臺ECS上)
操作
RDS(雲資料庫-結構化資料)
基於飛天雲平臺和SSD盤高效能儲存的。
使用場景:
(1)開放搜尋
對結構化的資料進行快速搜尋。
OpenSearch可將RDS中的資料自動同步到OpenSearch實現各類複雜的搜尋。
(2)資料多樣化儲存
(3)資料異地容災
將本地資料庫同步到RDS上,實現異地容災
(4)讀寫分離
增加只讀例項
(5)大資料分析
RDS支援大資料分析,但並不在RDS上進行大資料分析。
RDS架構:
RDS支援的資料庫型別:
基本概念
1、RDS例項
(1)例項是關係型資料庫的執行環境
(2)各例項間相互獨立,資源隔離,相互之間不存在CPU,記憶體等資源搶佔問題
(3)同一個例項中的不同資料庫之間時資源共享的
(4)RDS例項目前支援最大記憶體時48G,最大磁碟容量是6T
(5)一個賬號可以建立多個例項
2、RDS資料庫
(1)是使用者在一個例項下建立的邏輯單元
(2)一個例項可以建立多個資料庫,且命名唯一
(3)最多可以建立500個Mysql資料庫例項
3、RDS資料庫賬戶
(1)每個資料庫賬號可以用於多個資料庫
(2)每個資料庫的讀寫許可權可以被分配給很多資料庫賬號
4、只讀例項
(1)只接受讀請求的例項,如電商系統
(2)資料與主例項一致
(3)從備例項複製資料
(4)主例項的資料更新會在主例項做完後,立即自動同步到所有隻讀例項中
(5)可以在只讀例項上設定只讀例項延遲
(6)只讀例項建立並設定讀取權重後就會持續提供服務
(7)備例項和災備例項在主例項正常執行時都不會提供服務
RDS版本:
RDS安全性:
RDS提供了多樣化的安全加固功能保障資料,體現在網路、儲存和容災上:
抗網路攻擊:
(1)SQL隱碼攻擊
開通雲安全中心日誌分析、RDS SQL審計日誌
(2)DDOS攻擊
進行流量清洗
訪問控制:
(1)建立普通資料庫賬號
對資料庫只讀、讀寫等操作
(2)建立高許可權資料庫賬號
細力度控制,對錶、檢視,欄位等操作
效能優化
影響因素:
SQL查詢速度
- 網路
- 磁碟IO
- 硬體
- 資料庫版本等
效能檢測工具:
- 慢SQL統計及優化建議
- SQL執行報告
RDS效能優化工具:
- Fast Query Cache:查詢快取,提高查詢效能
- Binlog in Redo:減少磁碟操作
- Statement Queue:減少衝突的開銷
資料備份和恢復
- 資料平時必須備份
- 每個RDS例項可以建立一個臨時例項,繼承備份點的賬號和密碼,建立成功後,48h內有效。
OSS(雲端儲存-非結構化資料)
物件儲存(Object Storage Service),適合儲存大量不同大小、格式的非結構化資料,比如:視訊、音訊、影像、文字、日誌等。對檔案數量不限制,單個檔案大小為48.8T以內。
因為OSS中的檔案上傳方式有Put和Multipart方式:
- Put上傳單個檔案大小最大5G
- Multipart,最大支援10000塊,每個塊上傳按put方式上傳,故\(10000*5G=48.8T\)
基本概念
儲存型別:
1、標準儲存
頻繁訪問、實時訪問
2、低頻儲存
不經常訪問,實時訪問
3、歸檔儲存
長期儲存,需要先解凍後再讀區。
物件/檔案:
OSS儲存的基本單元,包括:
1、Data
資料本身
2、Object Mata
鍵值對,表示物件的一些屬性(大小、上傳時間、修改時間等)
3、Key
物件在儲存空間中的唯一標識
儲存空間(Bucket):
用於儲存物件的容器
容器名字唯一
數量有限(最多10個)
如何訪問?
應用場景:
如何上傳?
1、流式寫入
上傳字串、位元組陣列、網路流、檔案流
2、檔案寫入
上傳本地檔案
基於的平臺和技術:
如何保證安全?
功能特性
1、資料處理功能
比如:圖片處理、視訊截幀,文件預覽,人臉識別等
2、互動性
自然對接Hadoop生態
3、介面訪問
API、控制檯、SDK、命令化、圖形介面
4、可擴充套件
自動彈性伸縮,實現“無限”儲存
下面給出一個綜合案例: