建站
咨詢
售后
建站咨詢
新聞中心
好久沒遇到故障了，以至于技術(shù)老大在公司會議上，都成了隱形的存在，除了匯報進(jìn)度一無是處，這是不能容忍的。
成都創(chuàng)新互聯(lián)公司一直秉承“誠信做人，踏實(shí)做事”的原則，不欺瞞客戶，是我們最起碼的底線！ 以服務(wù)為基礎(chǔ)，以質(zhì)量求生存，以技術(shù)求發(fā)展，成交一個客戶多一個朋友！為您提供做網(wǎng)站、成都網(wǎng)站建設(shè)、成都網(wǎng)頁設(shè)計、成都小程序開發(fā)、成都網(wǎng)站開發(fā)、成都網(wǎng)站制作、成都軟件開發(fā)、成都App制作是成都本地專業(yè)的網(wǎng)站建設(shè)和網(wǎng)站設(shè)計公司，等你一起來見證！
只有有問題才能驅(qū)動團(tuán)隊的成長。風(fēng)平浪靜的時候，公司領(lǐng)導(dǎo)以為你做的不好，沒有暴露風(fēng)險：既然已經(jīng)做的這么完美了，要你何用。
所以做的太好了，對團(tuán)隊來說未必是一件好事---尤其是對于有受迫害妄想癥的公司來說。
上面這個截圖，我已經(jīng)見過很多次了，展示了一些無奈的現(xiàn)實(shí)。對于團(tuán)隊來說，也沒啥兩樣。
及時制造問題，是一個合格的管理者應(yīng)盡的責(zé)任。老板罵你一頓，然后接下來繼續(xù)倚仗你;比老板對你客客氣氣，然后接下來扔你進(jìn)火坑，要妙的多。
打是親，罵是愛，客客氣氣要完蛋。
這就是劣幣驅(qū)逐良幣，公司管理要避免出現(xiàn)這種情況。但我們今天的主題不是這，而是一個P1故障。
這不，昨天下午，公司領(lǐng)導(dǎo)的電話就被打爆了：
“商戶的賬號都登陸不上了，單點(diǎn)登錄崩了么?”
“這次影響面很大，用戶什么都操作不了了，系統(tǒng)要完玩么?”
“抓緊處理!出了這么大的事，要協(xié)調(diào)起來!”
“查一下操作記錄!是不是有人刪庫?！?/p>
事情很大，有客戶直接call了老板。圣旨層層傳遞，終于到了苦逼的研發(fā)部。
躲在角落里的我，一臉蒙圈。趕緊使用測試賬號登錄后臺。
您輸入的密碼錯誤，請稍后再試。
這也難怪有人想到了刪庫。最近互聯(lián)網(wǎng)戾氣嚴(yán)重，頻繁出現(xiàn)玉石俱焚的事件。在各主管毫無掩飾的壓迫和剝削下，這玩意一不小心就中彩了。
所有人都手忙腳亂的忙活起來。技術(shù)好的，把終端拖拽到大屏顯示器上，噼里啪啦打著命令行;權(quán)利大的，叉著胳膊抱在胸前，唾沫四濺指點(diǎn)江山;脾氣爆的，找?guī)讉€管事的負(fù)責(zé)人劈頭蓋臉一頓臭罵。
光討論組就拉了十幾個，信息鋪天蓋地而來。
到了這個時候，保持冷靜是非常難能可貴的品質(zhì)。作為領(lǐng)導(dǎo)，要控制自己瞎指揮的本事，少call電話少@人，保持基本的事件追蹤即可。排查人會因?yàn)榛貜?fù)你這些亂起八糟的指令，錯過了問題排查的黃金時段。
不要到最后過足了領(lǐng)導(dǎo)的癮，領(lǐng)教了老板的狠。
這不，直到10分鐘后，才產(chǎn)生第一條有用的信息。
有同學(xué)排查發(fā)現(xiàn)，所有的用戶密碼都被重置了。密碼被重置的商戶，重置時間都出奇的一致。
這也是得益于在數(shù)據(jù)庫表中加了updateTime這個字段，證明操作是由業(yè)務(wù)發(fā)起的，而不是DBA人為修改的。
DBA篡改的數(shù)據(jù)，只能到binlog里去找記錄，而不會體現(xiàn)在最后更新時間上。
從這一點(diǎn)也可以說明，要是真有人搞事的話，不是一個DBA，而是一個程序員。
這個程序員不是通過update語句進(jìn)行的修改，而是直接調(diào)用的程序。
大多數(shù)人直接想到了陰謀論，因?yàn)樽罱影嗵萘?，又不給錢，容易觸發(fā)到某個人敏感的神經(jīng)。
能這么想，證明領(lǐng)導(dǎo)們還是有點(diǎn)自知之明的。
接下來，又有另外一個發(fā)現(xiàn)：所有的密碼被重置之后，密碼都是不相同的。
這就更加神奇了。如果是程序員或者DBA寫的update語句，那么重置密碼應(yīng)該是一致的才對。而現(xiàn)在，用戶密碼都是隨機(jī)的，難道是鬼干的么?
通過員工的挨個調(diào)研，發(fā)現(xiàn)在故障的這段時間里，并沒有代碼的發(fā)版行為，可以排除因?yàn)楣δ艿@個影響因素。再說了，這個影響因素也不能亂報，容易讓老板對員工的產(chǎn)出產(chǎn)生懷疑：怎么過了這么長時間連個版本都沒更新，一TM更新就出問題了。
那大概率是外部搞鬼了?？赡苁怯腥嗽诠?。
很久之前，老板被人安利后，一拍腦袋，決定購買某大廠的安全服務(wù)。技術(shù)調(diào)研之后，發(fā)現(xiàn)并沒有什么卵用，于是婉拒大廠。
正打算放棄的時候，服務(wù)就出問題了。流量和漏洞鋪天蓋地而來，最終老老實(shí)實(shí)買了安全檢測和安全防護(hù)。
怎么就這么巧。
還有一次，有個小伙來應(yīng)聘，說你們的系統(tǒng)千瘡百孔。技術(shù)總監(jiān)認(rèn)為他在吹牛皮，無視之，水都沒喝就讓走了。結(jié)果，在晚上服務(wù)受到了瘋狂的攻擊，接近癱瘓。
怎么就這么巧。
百因必有果...
但這種得罪人的事，公司沒少干，一時間還真想不出是得罪了哪位大神。領(lǐng)導(dǎo)們托著下巴冥思苦想，不得要領(lǐng)。要是捉不住這個攻擊者，這鍋就得有領(lǐng)導(dǎo)親自背了。
安全的事情，還是得專業(yè)的人來做，該安全團(tuán)隊的人出馬上陣了。
黑Term一開，機(jī)械鍵盤一抖，鍵盤和屏幕就晃晃悠悠滾動起來。一個主機(jī)，三個顯示器，字符流淌如優(yōu)美的生活。
這個時候，我相信安全人員的腦子是懵逼的。
因?yàn)樗l(fā)現(xiàn)，事故，是由他自己引起的。
昨天，他剛剛使用了一款安全掃描引擎，然后，他在引擎中增加了一個安全掃描邏輯加弱口令驗(yàn)證檢測功能，這個邏輯在執(zhí)行期間，一直嘗試登錄，結(jié)果達(dá)到了重試次數(shù)上限，最終觸發(fā)了bug。搞死了所有用戶。
心病還須心藥醫(yī)，解鈴還須系鈴人。知道了原因，措施就好辦。
安全工程師扭扭捏捏把原因告訴了面色逐漸變冷的領(lǐng)導(dǎo)，心想這P1的鍋是沒得跑了。
領(lǐng)導(dǎo)心想。如果不是他平素里表現(xiàn)良好，盡職盡責(zé)，除了給他個鍋帶，還要給他搞頂帽子，抓個典型。
后續(xù)的事情就容易多了，DBA從binlog里找到受影響的記錄，然后整理成SQL語句，然后瀟灑的一甩手，問題就OK了。
同時，這也證明了系統(tǒng)的脆弱性。假如安全工程師是競爭對手的人，那事情就復(fù)雜的多了，所以安全還需要繼續(xù)建設(shè)。背鍋的同志，將功補(bǔ)過吧。
由于問題發(fā)現(xiàn)及時，并未引起較大恐慌。這極大的體現(xiàn)了組織的協(xié)調(diào)能力，和應(yīng)對緊急事件的響應(yīng)能力。
我相信，領(lǐng)導(dǎo)一定會在公司會議上大放光彩。從接下來幾天他紅撲撲的臉上，我得到了驗(yàn)證。
作者簡介：小姐姐味道 (xjjdog)，一個不允許程序員走彎路的公眾號。聚焦基礎(chǔ)架構(gòu)和Linux。十年架構(gòu)，日百億流量，與你探討高并發(fā)世界，給你不一樣的味道。
文章名稱：又一P1故障，鍋比臉圓
當(dāng)前地址：http://www.dlmjj.cn/article/djspgho.html
