職業生涯中,最難以忘懷的誤操作 1

zecaro發表於2010-12-26

最近看了些帖子, 大多數災難都是人為的,引以為戒

 

“似乎大多數都是平時許可權過大的問題,要養成不到萬不得已不用root的習慣!”


“可是不知道怎麼的,那次要刪除目錄下的所有內容,本來要執行rm -rf ./*,卻少輸入了一個點,成了rm -rf /*

 後果你是知道的!再也起不來了,連reboot都沒有了,只有reset了!”

 

“一次工程實施,一個超市開業,經過一個多月的資料初始化,好不容易把所有商品都弄好了,離開門只有5分鐘了,超市門口慶典已經開始了,聚集了很多顧客等著開門呢,我突然接到他們超市的人說有一個商品的價格弄錯了,要我手工修改資料庫改過來,我就照做了,但是我寫的update語句忘了寫where條件了,執行後我發現執行的很慢,十幾萬條資料啊,所有的商品的價格都已一樣的了,此時我足足愣了2分鐘,一言不發,一身冷汗。我趕緊打電話給他們經理說能否晚開門5分鐘我恢復備份資料庫,他們不答應晚開門,但可以限制10分鐘後才讓收銀臺收款,我才終於將心放到肚子裡了。
8年過去了,現在想起來都有些怕,萬一沒有資料庫備份,我如何負責?我如何能負責得起啊!!!!!”

 

“基本瀏覽一下上面所有的
得出一教訓
備份 備份 再備份!!!
能不用root 儘量不用root”

 

“經常在十幾臺機器之間來回切換,有次rm -rf ./* 清個資料夾,結果執行完發現rm到其他機器上去了....
從此以後執行重要命令之前先ifconfig看下ip”

 

“加班至凌晨3:00,睡了一覺,醒來發現,所有備份沒有了,
查詢命令記錄,原來是自己刪除了,沒有一點印象,幸好刪除的不是在執行的,
冷汗啊”

 

“工作第一年,刪除資料庫表內資料. where條件後是ID=, 結果刪到最後一個時走神, 沒寫id=,直接寫了個數. 三秒鐘,七百多萬條資料被我刪了. 當時全腦空白,後聽同事說我臉色慘白!! 恢復一夜,還是丟失部分資料, 關鍵服務,核心資料庫”

 

“update語句,寫完後忘加條件了,結果把二年的資料全給改成同一時間了。
後來記住了,
在update執行前先加事務,然後select 後邊跟回滾。”

 

“看來還是rm -fr / 誤操作的最多。 這個錯誤我也犯過,給使用者講課時,判斷錯了目錄,執行這個命令,公司的伺服器當時就掛了。至今想起來無比鬱悶。”

 

“有一次,我修改了/root/.bashrc檔案後,便想使用 source /root/.bashrc命令來使它立刻生效。
但是很不幸,我TAB鍵敲的太快,成了 source /root/.bash_history ,接下來那叫一個壯觀,螢幕上的命令開始飛滾,這個時候,我心裡已經一片空白,等待2秒之後開始狂按Ctrl+C,但是一切都晚了。。。
第二天,重新安裝該伺服器,損失只能盡力彌補。。。。。”

 

“me的一個,
想改一個資料夾的許可權,chmod ./*777 -R
可是少打了一個點, chmod  /* 777 -R
螢幕一陣閃爍,急按ctrl+c,為時已晚.
後來虛擬機器裡又裝了個一模一樣的系統,用程式遍歷恢復的.”

 

“當時開著兩個視窗一個本機一個公司業務伺服器.結果把伺服器資料庫裡使用者業務表編號清零了..
當時腦子裡一陣空白.”

 

“有一次,一航天系統的客戶搬來HP的PC級伺服器到公司。
客戶說RAID 5壞了塊硬碟,系統不能引導了。希望幫忙,出費用都好說。

檢視後確實如此,5塊硬碟去掉一塊壞盤,從硬碟恢復陣列資訊後,系統都引導了,就等這客戶輸入登入密碼,然後收錢了。
就在這時,悲劇發生了:公司HP部門經理過來了,帶著另外一個客戶,看都沒有看我們在幹什麼,直接又抽出一塊硬碟,對他的客戶說:看!HP的伺服器多好,拔掉塊盤,系統還正常執行呢!!!

在這之後的10幾秒內,我和航天的客戶看著系統藍色畫面。。。。。。
重新起動後怎麼也進入不了了,剩下的硬碟全部掉線,HP廠家說也沒有辦法再恢復了,呵呵
沒辦法,只好跑公司外邊抽菸去了,告訴客戶說還有其他事情,先走了

後來人家航天的客戶威脅說要告我們,再後來就不了了之了

我當時真佩服HP那哥們”

 

“客戶機房2臺HP380 RAID5架叢集,有一臺崩了,結果進機房後不知道在想什麼衝著那臺還在工作的就過去了,唰唰唰3塊盤就摘下來了。。剛要說話發現其他人臉都是綠色的還納悶呢,大家咋了這是 突然醒悟”


“開多了終端,本想REBOOT自己的機器,結果直接在別人的機器上執行了  (真想說:不是我乾的)”


“我是在Oracle資料庫中做資料更新
對一個表做update的時候,少新增了一個where條件,結果至少有二百萬條資料被誤更新了。。。

幸好此前做過一個備份,否則的話哭都沒地方哭去 ”

 

“rm -rf *
非常遺憾,執行這個操作時候,正好在 /  下。”

 

“執行 rm -rf /test 時,敲完 / ,不小心就碰到了回車……

人生最痛快的事莫過於此……”

 

“有一次,夏天,偶老婆的小姐妹的筆記本崩潰了,偶去幫忙重灌;
不料,那姐們剛起床,穿著睡衣,特暴露的那種,偶就在暈暈忽忽中用了GHOST;
結果,把D盤的資料全部覆蓋掉了,當時還不知道;
開機重啟是,看見原來的XP啟動畫面,腦門上一下就冒汗了;她還問我熱不熱,要不開空調?
我不動聲色,把C,D盤全部格了,然後裝好系統,最後告訴她,由於病毒破壞,你D盤資料全部丟失了......... ”

 

“我同事更厲害,幫聯通一個省分計費,結果近8萬條賬單扣到省分下的市分公司去了......好在是上下級,要是把市分的錢扣到省分下,估計就要不回來了。
還有一個分公司,10萬帳戶,每個帳戶收10元,結果update的時候,手抖了,多了個0......結果第二天天沒亮就接到三位數的投訴......
再往前推,還是分公司,也是去收錢,同樣手抖,上面的是顫抖,一個鍵重複按,那哥們不知道咋顫的,8給顫成1800了!!!公司賺大了!!數量級還挺客觀,2萬個!*1800.....沒想明白,抽筋抽抽成啥樣才能把8按成1800啊!”

 

“第一次自己管理mysql的資料庫,在為一個使用者新增許可權的時候,誤操作使用了  update user set Password=password('*****') .後面居然忘了加條件語句。 瞬間所有的使用者密碼變的一樣了。那時候真是“心涼哇涼的啊” 哎 現在想想都很無語~~”

 

“都是Enter鍵惹得禍!”

 

“不知道搞硬體的兄弟們碰到過沒有。有的國外品牌的電腦的電源是可以調整電壓的,110/220互相轉換的。

我一哥們嗷嗷牛,一個機房的DELL全給改成110V的了,結果一合閘,跟放禮花一樣。。。。。。。


“累了千萬不要做事。錯了一次。印象深刻。”


“有同感。精神恍惚的時候也最好別做事,出事就麻煩了”


“錯失的錯太多了,我永遠告訴自已,做事要細心”

 

“連線到伺服器上,工作完後,忘了退出連線,結果用sync;sync;sudo halt -p關機睡覺,把伺服器給關了。。。”

 

“backup is your last line of defence 
真理呀!

話說常在河邊走,哪有不溼鞋。。”

 

“有一次遠端操作,本想著重新啟動網路卡,
service network restart
但不知道腦子一熱
servier network stop

結果,只能跑到機房 start了下”

 

“我現在所在的公司,在我來公司之前的事
伺服器上2塊硬碟,做RAID-0,然後把ERP裝在上面,而且備份不是天天做
(不知道是誰會這麼天真的用RAID-0+ERP+不備份)
結果有一天,RAID-0掛了,拿到外面去恢復,走狗屎運只丟了一個星期的資料
後來全廠的人都在絞盡腦汁在想自己上個星期幹了什麼活,因為要往ERP中補資料”

 

進入 網站的log目錄,本來是要cp下來的,結果鬼使神差的使用了 rm -rf *
結果可想而知!··

 

曾經犯過一個很低階的錯誤,用find查詢所有測試伺服器過期的日誌,加了個-o引數,該刪除的沒刪掉,不該刪除的工作目錄全都被我刪了,當時還沒對測試環境做備份,一百多臺機器,花了我一週時間才恢復。

 

遠端操作管理網路,ifdown eth0,直接斷開。。。

 

看了這麼多,總結出最重要的東西就是:備份!不管是公司 伺服器,還是自己家裡的PC(更容易出問題),重要資料都要做好備份!公司的備份最好還要多做備份的有效性測試!

iptables -F

結果把自己鎖外邊了。。。。

 

就幾個月前一天開晨會時候,由於老闆出差去深圳了,開會要用視訊會議,我連好線後,開始開會,當財務說我工作盡心盡力要給我發獎金時候,結過RMB,坐下,悲劇了....一得瑟,想在桌子底下翹個二郎腿,一腳T在開關上,就聽音響裡一陣悅耳的關機聲。。。。30多個人齊刷刷看向我....完事重新開機跟老闆連上線,被大會上批了一頓....悲哀阿,


有次rsync同步檔案到要地時,發現路徑寫反了。結果把伺服器二個目錄的內容合刪光,一開始還沒查覺rsync完之後我du一下目錄,發現不對,少了幾十G檔案。馬上還原……
經歷這次之後,rsync 再也不加 --delete 路徑也都要重複檢查一次。

 

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/23650854/viewspace-682655/,如需轉載,請註明出處,否則將追究法律責任。

相關文章