AWS 安全資訊洩露-----21天燒了27萬

Grant_Allen發表於2021-08-03

  安全問題一直都是個老生常談的話題,對於我們做IT的來說,是更為重視的。從使用開發工具的是否授權合規,到從事的工作內容是否合法。我們都應該認真的思考一下這些問題,畢竟我們要靠IT這門手藝吃飯。

  2021年7月,對我來說差點成了我一生的夢魘揮之不去。我的個人的AWS賬號的IAM User 子賬號(以下就簡稱A賬號)的安全資訊洩露,導致從7月7號到7月30號燒掉了約4.3萬美元,摺合人民幣27.8萬。

   2020年5月,我註冊了AWS的個人賬號用於學習,平時的話經常使用ECS,EC2,Lambda等服務做一些簡單的測試Demo,所以我的重點就一直在學習AWS 技術,沒有想著按照公司基本的資訊保安防護,比如開啟MFA,定期輪換 AWS 賬戶密碼等策略。

  對於AWS 的學習計劃,我的部落格中也可以體現出來,之前也分享過跨賬號資源訪問許可權,以及使用Azure DevOps 部署AWS ECS Service 等文章。對於每月的學習,分享計劃,我自己也自始自終儘量控制每月的服務花費。2020年開賬號到年底幾個月基本控制在每月20美元以內,2021年這幾個月基本上每月不超過5美元。

事情的開端

  21年的3月那會兒,剛好有同事為了和我一次測試 aws 服務,由於公司的 aws 賬號申請流程繁瑣且慢,所以我的自作主張的給同事開了 AWS IAM 賬號在我個人的 AWS 賬號做測試,完事後也完全疏忽刪除這個A賬號。此時的aws賬單也正常。

  21年的6月有發現這個子賬號在登陸我的AWS,又自認為是同事只是誤操作登陸,所以又疏忽沒有刪除這個賬號。這兩月的 aws 賬單也是正常

 

噩夢的開始

  每個月月底的時候,我都會下意識的看看aws 的賬單,結果可怕的時候就發生了。7月29號下午,登陸到AWS 控制檯查賬單的時候,發現數額巨大的3.68萬美元看的我瞬間整個人都不好了,“難道是我忘記關閉ECS了”,“難道是我開了RDS忘記刪了“,在無數個自我找原因的同時,我急忙檢視這鉅額費用是怎麼產生的。從7月7號 下午13點開始幾乎所有的區域都分別開了2臺規格為 ”p3.2xlarge“ 的EC2。

 

我慌了,趕緊刪這些資源,腦子裡面想到的第一件事情就是”我的賬號被盜了“,停完這些服務已經29號下午4點40多了。此時我的心思完全不在工作上,急忙聯絡aws 技術支援說我的 ”access_key被黑客盜用“ 了,黑客開了好多EC2 服務,我自己沒有及時檢查,是否可以退還這筆費用。

 

 

那天也著急回去,並且想跟蹤 aws 的技術支援回覆的問題,想弄清到底出了什麼問題,包括這筆快4萬美元的費用怎麼處理。這個時候我有個很大的疑問 ”Access_key“ 是怎麼洩露的?

噩夢依舊持續

  29號下午7點40左右到家,趕緊登陸到AWS 控制檯,看到aws 的技術支援並沒有回覆我的這些問題。我就先聯絡aws 繫結的信用卡的客服中心,並說明情況,能否先凍結信用卡。(不是惡意逃費,而是摺合人民幣20多萬對我個人來說不是一筆小數目,並且我一年都賺不到20多萬),信用卡中心回覆這個牽扯到境外的免密,讓我先凍結信用卡,並繼續聯絡 aws 溝通此情況。

  29號晚上10點再次登陸 aws 控制檯,並檢視這筆鉅額賬單的時候,發現有莫名奇妙的在好多個區域建立了同規格的”p3.2xlarge“ 的EC2。我震驚了,不是都刪了嗎,怎麼又出現了。於是又緊急刪這些非法建立的資源,同時發現A賬號有登陸的痕跡,於是趕緊打電話給 pm 情況,讓她幫忙問問情況。同時我也刪除了A賬號的許可權。並在 CloudTrail 中檢視相關日誌。

  7月07 13:08,A賬號登陸建立大量規格為 ”p3.2xlarge“ 的EC2

       7月29 18:41,A賬號登陸到AWS控制檯

       7月29 18:51,A賬號通過某種方式又建立了大量規則為 ”p3.2xlarge“ 的EC2

  7月29 22:26,緊急刪除了A賬號的許可權

       7月30 02:08,A賬號再次登陸到AWS控制檯

登陸痕跡

 

建立資源痕跡

 

出現這一系類問題,我急忙聯絡那位同事,並且得知他就自從3月和我一起測試完需要驗證的服務後,就再也沒有登陸過。且沒有任何人知道A賬號的登陸資訊。掛完電話後,短暫通過110報警後,就奔赴當地的派出所現場溝通報案。對話內容就暫時不透露了。

  從派出所回來,想著民警告知的先通知銀行掛失,將繫結到 aws 上所有的銀行卡/信用卡都解綁,先止損。在聯絡aws 調查此事。但問題在於賬單金額每分鐘都在上漲。因為短短的4個小時,賬單金額增長了4000多美金,我不確定什麼時候金額才能停下來?我有些不知道接下來我應該做點什麼,即使我關閉了所有的服務,這個賬單的費用依舊在增長..........

前路如何,不得而知

  7月30號早上6點,經歷了前一晚的初步判斷調查,我把 aws cloudtrail 中的日誌逐步進行篩選分析,得出並不是aws root 賬號資訊洩露,也不是 access_key 洩露。就是因為這系列看似正常的操作才導致悲劇的發生。A賬號資訊是怎麼洩露的,一直是個謎。

  7月30號7點左右的時候,我第三次給招商銀行信用卡中心打電話再次確認,這筆暫時還沒有扣款的鉅額費用在我登出卡之後是否會扣款成功,聽到他們那邊很肯定的回覆,我心裡暫時鬆了一口氣,我知道接下來我需要證明得是我不是惡意登出卡,不付款的。而是在警方,和銀行的建議下先行登出,即使止損,同時發郵件這些資訊告知 aws 的技術支援。

  7月30號9點左右,專案pm先行我一步去了公司所在區域的分局報警,希望網警能介入調查此事..........

  7月30號12點左右,回到家裡後,看到aws 回覆告知,他們很重視這次資訊保安時間,會將我的賬號凍結24小時,判斷是否要進行下一步操作,同時審計部門也會介入進來核算賬單。

.............

  其實寫道這裡,我暫時寫不下去了,因為後面就牽扯太多的個人,公司,aws 的太多資訊。此時此刻,我自己有對安全不重視的自我匹配,也更多的是憤怒。登陸的安全資訊不管是從公司洩露出去,還是其他方式被黑客攻擊,都不是我想看到了。不管是內部人員乾的,還是外部人員乾的,我真的有些失望了。人心太可怕了。

言談外傳

  對於這次的安全資訊被盜用,我承認有我的問題,但在沒有任何郵件通知的情況下,產生4.3 萬美元的鉅額賬單,這正常嗎?

  我統計了歷史賬單,2020年5月到2020年12月,基本上每月都可以保證到不超20美元。2021年1月到2021年6月,基本上每月都不超4美元,我真的特別想反問一句aws,根據意識賬單的消費情況,是否有風控監管部門?是否有很人性化的提醒?對我來說,這樣的事情發生一次就夠了。

  這段經歷確實給我造成了很嚴重的困擾,作為一個不合格的雲開發人員,真的很失敗。但這不會打亂我的整個學習。我想通過這件事告訴大家,資訊保安問題真的不容無視,雲資訊保安真的更為重要。

相關文章