1月4日，西安一碼通又“崩”了，半個月崩潰兩次，引發(fā)了業(yè)界關注，關于事件原因也引起外界諸多猜測。

1月6日下午5時許，東軟集團（600718.SH）對投資者回應事故原因時，表示該故障與東軟所處應用層無關。回復稱，在進行現(xiàn)場分析之后，專家提出：“要加強網(wǎng)絡和信息安全，優(yōu)化應急預案……防止出現(xiàn)網(wǎng)絡安全事故。”等指導意見。

一位接近西安“一碼通”項目的人士向鈦媒體App表示，當下已排除應用層故障；且在故障排查和壓力測試時發(fā)現(xiàn)，防火墻設備存在多次丟包現(xiàn)象。由此可以判斷，出故障的防火墻不屬于應用層。那么故障是由什么層面出現(xiàn)問題導致的？一次看似平常的健康碼請求，跟防火墻有哪種關聯(lián)，為什么會因為防火墻丟包造成故障？

針對上述情況，鈦媒體App聯(lián)系網(wǎng)絡與信息安全專家李冬，據(jù)李冬判斷，西安“一碼通”屬于政務工程，從系統(tǒng)安全上來說，西安市民訪問西安“一碼通”屬于外網(wǎng)訪問內網(wǎng)，二維碼調后臺數(shù)據(jù)用確實要過防火墻，如果并發(fā)量超過原有架構設計，確實會發(fā)生防火墻丟包的可能。

鈦媒體App從另一位接近西安“一碼通”項目人士處獲悉，自12月20日“一碼通”故障后，多批專家組進駐調查，形成了多份報告，由官方最終拍板的報告尚未發(fā)布，但事實大致清楚，這是一起因流量過載、系統(tǒng)架構應對高并發(fā)不足，最終導致防火墻攔截數(shù)據(jù)無法返回的系統(tǒng)性故障。

不過事實上，經(jīng)鈦媒體App編輯多方求證了解，在西安“一碼通”故障事件中，防火墻丟包雖是最終原因，但或許并不是根本原因。在諸多供應商和事件主體中，究竟是“誰”、在哪些環(huán)節(jié)出了問題，我們也做了一次全面復盤和還原。

西安一碼通的復雜供應商

西安一碼通的系統(tǒng)建設涉及基礎資源層、網(wǎng)絡層、應用層等多個專業(yè)廠商，并且據(jù)鈦媒體App了解，這些多個專業(yè)廠商在中標合同中分屬不同標的，主要標的有兩個。

一個是“疫情防控平臺一碼通項目（以下簡稱：西安“一碼通”），該項目總包為西安電信。自2020年3月西安“一碼通”上線后，西安電信以招標形式分包給近十家科技公司的服務，包括開發(fā)與運維、安全相關產(chǎn)品與服務、引擎軟件產(chǎn)品、短信服務、大數(shù)據(jù)可視化等項目。

另一個是“西安市電子政務統(tǒng)一平臺”，該項目簡稱為“政務云”平臺。據(jù)鈦媒體App了解到的消息，西安“一碼通”以政務云平臺為技術底座，基于政務云平臺搭建，其基礎資源層、網(wǎng)絡層的所需的存儲、網(wǎng)絡、計算等服務均由政務云平臺輸送，而西安“一碼通”通過西安電信購入的服務，可以統(tǒng)稱為“應用層”服務。

鈦媒體App根據(jù)官方公布的公示信息統(tǒng)計，在應用層服務中，阿里云提供政務云和短信服務；西安東軟系統(tǒng)集成有限公司（以下簡稱“西安東軟”）提供“一碼通”軟件開發(fā)和運營維護服務；安恒信息技術股份有限公司（下稱“安恒信息”, 688023.SH）提供“一碼通”部分安全項目服務；美林數(shù)據(jù)股份有限公司（以下簡稱“美林數(shù)據(jù)”，831546.NQ）提供引擎軟件產(chǎn)品及相關服務；中譯語通科技（陜西）有限公司（以下簡稱“中譯語通”）提供大數(shù)據(jù)可視化服務。

而在政務云平臺中，北京啟明星辰信息安全技術有限公司（以下簡稱“啟明星辰”，002439.SZ）提供部分網(wǎng)絡安全服務；阿里云也擔綱了政務云平臺的私有云建設。

在多類服務商糾葛下，問題也變得愈發(fā)復雜，這也導致西安“一碼通”故障調查和排除的繁瑣，相關方對事故認定的說法不一。

2021年12月20日，西安“一碼通”第一次故障時，曾有消息將故障原因指向屬于應用層服務提供商的美林數(shù)據(jù)，但美林數(shù)據(jù)隨即回應稱：美林主要負責一碼通后臺，提供算法，‘一碼通’運營不屬于美林。

安恒信息給鈦媒體App發(fā)來回應稱，“安恒信息負責‘一碼通’的一部分安全工作，保障系統(tǒng)不被網(wǎng)絡攻擊，到現(xiàn)在為止，沒有發(fā)現(xiàn)網(wǎng)絡攻擊跡象。”

也有網(wǎng)友捕風捉影，分析稱西安一碼通的“碼”采用圖片形式下發(fā)，導致CDN（內容分發(fā)網(wǎng)絡）沖垮負載均衡。鈦媒體App求證獲悉，“二維碼以圖片形式下發(fā)”的分析系誤讀，健康碼本身并不是以圖片形式傳輸。健康碼就是個ID，通過ID指向數(shù)據(jù)庫找出對應的信息。

最詭異的是，有傳言稱西安“一碼通”建設是花了27萬，讓小公司幾個實習生來做的項目。對此鈦媒體App查閱官方資料得知，在西安市相關單位發(fā)布的中標公告中，確實有條公告信息符合“27萬”、“不知名”公司的條件，并且標的中也明確出現(xiàn)了“一碼通”字眼。

西安科學技術局創(chuàng)新一碼通系統(tǒng)招標信息

但鈦媒體App求證發(fā)現(xiàn)，此“一碼通”并非西安“一碼通”。這項20幾萬的項目由“西安市科學技術局”主體招標，時間為2021年11月26日，并且公告全稱為“《創(chuàng)新一碼通系統(tǒng)開發(fā)項目競爭性磋商公告》”，公告明確表示該項目為以西安市創(chuàng)碼通系統(tǒng)（以下簡稱“創(chuàng)碼通”）為抓手，加快推動西安“秦創(chuàng)原”整體戰(zhàn)略的落地建設。也就是說該項目實際是西安市“創(chuàng)碼通”項目并非西安“一碼通”。此前傳言為斷章取義。

“一碼通”為何不通？

在雜亂的信息中，有接近西安“一碼通”項目人士向鈦媒體App判斷稱，問題可能在于連接“一碼通”和西安政務云的安全防護機制過載，讓“一碼通”平臺無法調用政務云上的數(shù)據(jù)，因此“一碼通”一直無法加載出數(shù)據(jù)。這一說法也側面排除了應用層故障，將問題矛頭指向政務云平臺以及政務云平臺上的安全防護機制。

綜合多方給我們的回復，從技術上講，“并發(fā)訪問量過大觸發(fā)防火墻防御閾值，同時還存在網(wǎng)絡堵塞、丟包現(xiàn)象”的說法最為可靠，但無法單純將責任歸至其中任何一方。

簡單來理解則是，處于應用層的西安“一碼通”在運行過程中由于流量過載，觸發(fā)了底層政務云的防火墻防御機制。——兩個來自不同標的的各方本來各司其職，但在實際運行過程中卻成為了彼此影響的統(tǒng)一系統(tǒng)。他們看似都沒有直接責任，卻像蝴蝶效應一般，釀成最終故障。

在公開信息顯示的西安“一碼通”事故相關的的近十位服務商中，眾多爭議主要集中在三家廠商——東軟、阿里云和啟明星辰。

東軟負責西安“一碼通”信息技術平臺軟件產(chǎn)品及相關平臺功能定制化開發(fā)服務。據(jù)了解，起初該平臺并不是為了支撐西安全員的核酸檢測（核酸檢測需要亮碼），所以平臺并沒有設計與之對應的并發(fā)指標。而且在12月20日西安“一碼通”出現(xiàn)故障后，QPS（每秒查詢率）已經(jīng)擴容至系統(tǒng)最大值4萬，并且重新完善了代碼，但這依然不足以支撐西安全城1200萬人的集中檢測并發(fā)量。

阿里云牽扯其中，不僅因為出現(xiàn)在一碼通的采購清單中，也因為其負責西安政務云的建設。政務云核心都采用私有云方式建設，西安政務云也是如此。

前述接近項目消息人士透露，阿里云智能DNS解析在“一碼通”中出現(xiàn)了解析錯誤問題，兩條為“一碼通”預留的VIP線路中，有一條出現(xiàn)故障。此外，RDS數(shù)據(jù)庫中大量慢SQL，也導致了流量擁堵。這兩個問題在后續(xù)排查中被快速解決。

但在后續(xù)求證中，阿里云一位發(fā)言人直接向鈦媒體App否認了上述兩個問題，指出云平臺遭遇流量擁堵消息失實，這位發(fā)言人對鈦媒體App回復：“阿里云在西安一碼通提供的是云底層設施，沒有參與上層的系統(tǒng)搭建。西安疫情期間，阿里云云平臺運行穩(wěn)定，DNS解析和RDS數(shù)據(jù)庫產(chǎn)品也并沒有發(fā)生故障，我們的技術團隊一直在現(xiàn)場重點保障。阿里云十分愿意為西安抗疫貢獻更多力量。”

“流量過載，飽和式流量沖到網(wǎng)絡防火墻之后，導致流量被攔截，數(shù)據(jù)請求無法訪問數(shù)據(jù)庫，市民信息與后臺數(shù)據(jù)庫信息無法比對，最終導致手機端的展示系統(tǒng)無法顯示，也就是癱瘓，這個是可以說得通的。”李冬向鈦媒體App表示。

據(jù)鈦媒體App了解，西安“一碼通”的網(wǎng)絡防火墻產(chǎn)品由啟明星辰提供。在一份2020年11月30日發(fā)布的“西安市電子政務統(tǒng)一平臺網(wǎng)絡安全服務外包項目單一來源采購征求意見公示”文件中，采購人為西安市大數(shù)據(jù)資源管理局，中標金額為392萬元人民幣，采用單一采購方式，中標方為啟明星辰。

西安市電子政務統(tǒng)一平臺網(wǎng)絡安全服務外包項目合同

問題到這里并沒有結束。 鈦媒體App了解到，網(wǎng)絡防火墻閾值是可以人為調整和設置的，即便一開始在壓測時閾值設置較低，收到報警后可由工程師在后臺修改調整，并不需要耗費太長時間。“但是從西安一碼通的故障修復時間看（第一次故障次日修復，第二次故障約兩小時修復），網(wǎng)絡防火墻出現(xiàn)問題只是表象。”李冬分析，深層次原因的排查應該在架構設計是否合理，計算存儲帶寬資源是否充足兩個大的層面，而從以往經(jīng)驗來看，責任更多在前者。

對此，截至發(fā)稿前，鈦媒體App再次聯(lián)系啟明星辰，啟明星辰回復稱，一切以官方信息為準，目前官方信息暫未公布，同時啟明星辰也否認防火墻本身出現(xiàn)問題。鈦媒體App獲悉，啟明星辰團隊目前在現(xiàn)場積極參與故障的修復。防火墻只是恰好成為故障爆發(fā)的弱環(huán)，超出設計本身限制。

此外，數(shù)字政府項目層層分包（運營商以及大型企業(yè)都可以作為總包方，也會互相成為彼此的分包商）也是被外界詬病的一點，這在項目層面屬于正常現(xiàn)象。而在西安“一碼通”項目中，西安電信作為項目總包，負有驗收和把控項目的最終責任。僅西安“一碼通”項目就涉及不下十個分包商，更不要說項目規(guī)模更大的城市類項目。如何做好分包商產(chǎn)品與服務質量管理，是總包以及項目主體不可推卸的責任，特別是涉及民生的關鍵基礎設施項目。

當洶涌的疫情成為西安“一碼通”的新預設條件，這場“違背”預設的系統(tǒng)崩潰似乎也不那么讓人意外了。

現(xiàn)有架構應對高并發(fā)，力有未逮

西安“一碼通”的故障與多年前12306春運高峰宕機、雙十一狂歡節(jié)淘寶與京東的宕機并無二致。不同在于，12306與淘寶、京東的高并發(fā)是商業(yè)性的，而西安“一碼通”故障涉及的是民生問題，出現(xiàn)在疫情防控的緊要關頭。

隨著數(shù)字化、信息化的推進，各種“碼”被應用在生活中的各個方面。西安“一碼通”這類健康碼和微信、支付寶的支付碼有相似之處，但支付碼卻甚少發(fā)生大規(guī)模宕機事件，兩者的對比也有一定參考意義。

與健康碼不同，支付碼的投入建設周期長，并且從規(guī)劃之初就采用了支持大規(guī)模、高并發(fā)的分布式架構，健康碼則更多是在疫情期間緊急上馬，事急從權，例如西安一碼通是在2020年3月到12月數(shù)次招標，而在此期間西安一碼通已經(jīng)投入使用，類似情況在全國范圍內并不少見。

其次，對疫情態(tài)勢發(fā)展的預估也影響到系統(tǒng)建設。2020年初，社會普遍認為新冠疫情是一次突發(fā)事件，并沒有意識到事態(tài)會長期持續(xù)，自然也不會在一個“臨時系統(tǒng)”上花費重金。相比之下，微信、支付寶的健康碼則是多年來持續(xù)迭代、不斷優(yōu)化，才有了良好的體驗。

“健康碼是非常典型的階段性突擊任務，還是按照傳統(tǒng)的建設方式去管理和推動的。初期確實很正常，但存在著面對大并發(fā)場景下的問題隱患。”浪潮軟件副總經(jīng)理張峰對鈦媒體App表示。

而當相關方重視程度不夠時，健康碼作為一種需要持續(xù)資金投入的數(shù)字基礎設施，不可能憑空完成系統(tǒng)架構的改進。“就好比平時是一匹馬拉一輛車的貨，當貨變多的時候，要么換一匹更厲害的馬，要么加更多的馬。但只是換匹馬的話，再厲害也不會增加太多的馬力，更合理的做法是增加更多馬。從技術上說，前者是垂直擴展，后者為水平擴展，互聯(lián)網(wǎng)公司大多使用可水平擴展的分布式架構。”張峰舉例。

然而，盡管分布式架構有諸多好處，但是其所需要的啟動成本和時間也遠多于單體式架構，對資源的消耗和技術的要求也更高，由單體式架構向分布式機構的重塑也并不容易，所以很多系統(tǒng)都是在原有架構上修修補補，這也是為什么西安“一碼通”不能在短時間內實現(xiàn)水平擴展，一個月內連續(xù)兩次出現(xiàn)故障的原因。

“如果是架構的問題，那么架構的改動是不能簡單用‘優(yōu)化’來概括的，這是個大工程，雖然不是從零開始，也等于重整。”李冬的分析也印證了張峰的判斷。

綜合來看，西安“一碼通”全套系統(tǒng)的本質問題在于預設前提突變，遠遠超出系統(tǒng)設計的基礎標準，系統(tǒng)架構改造也不足以應對大規(guī)模防控場景，從而導致系統(tǒng)中的各個環(huán)節(jié)危如累卵，最終匯集到防火墻處，造成連續(xù)“失碼”。

數(shù)字政府再思考

回溯西安一碼通連續(xù)兩次崩潰事件，有一點已經(jīng)很明確，這不僅僅是技術問題。

12月20日，西安“一碼通”第一次發(fā)生崩潰，在當日舉行的西安疫情防控記者會上，彼時西安市大數(shù)據(jù)局局長劉軍表示，當日早7時40分左右，西安“一碼通”用戶訪問量激增，每秒訪問量達到以往峰值的10倍以上，造成網(wǎng)絡擁塞，致使包括“一碼通”在內的部分應用系統(tǒng)無法正常使用。

1月4日，西安“一碼通”第二次崩潰，時間點也很“巧合”——一位西安市民告訴鈦媒體App，1月4日是西安市社會面清零的時間點，西安全市“拿出最佳狀態(tài)發(fā)起總攻，攻堅拔寨推進社會面清零”。在這一目標下，當天大批市民需要核酸檢測，而無論是核酸檢測還是外出都要亮碼。“一是疫情嚴重，上班點都要亮碼；二是短時間內全員核酸，大批轉移、大量亮碼導致流量激增。哪怕是分批呢？”在重壓之下，“一碼通”又一次扛不住了。

鈦媒體App聯(lián)系另一位在西安定居多年的市民了解到，第一次故障發(fā)生時，西安除了基本處于正常運轉狀態(tài)，部分行業(yè)尚未歇業(yè)，日常進出各類場所需要亮碼，所以“一碼通”故障影響可能較大；但第二次故障時，西安各方都在努力實現(xiàn)社會面清零，大部分行業(yè)仍居家辦公，只有特殊人員或需要做核酸人員在外活動，“當天聽到社區(qū)大喇叭通知，說‘一碼通’故障了，希望大家等系統(tǒng)好了再出門做核酸。但有些居民可能剛好在故障時正在排隊，這些居民可能受到影響。”該市民表示。

然而，在“健康碼”類應用已經(jīng)在全國各省市普及的情況下，西安“一碼通”短期內兩次崩潰，引起了各界廣泛關注。1月5日，西安大數(shù)據(jù)資源管理局黨組書記、局長劉軍也因履職不力，被停職檢查。

復盤一碼通故障原因，數(shù)字政府、政務云平臺的建設還是要做好頂層設計，對于關鍵基礎設施應該統(tǒng)一規(guī)劃、前瞻部署，而不應該草草上馬。“決定系統(tǒng)健壯性差別的關鍵，更在于建設和運營。盡管技術高低可能稍有差別，但不會造成如此不同的差異，數(shù)字政府項目支撐城市級別的流量是經(jīng)過驗證的，健康碼的問題在于重視不足。”張峰對鈦媒體App表示。

從鄭州特大暴雨到西安“一碼通”，這些突發(fā)事件背后都反映出維護數(shù)字基礎設施穩(wěn)定意義重大。

“這不是常規(guī)解決電子化的問題，而是需要提供工具化來支撐政府以不變應萬變。”一位智慧城市建設從業(yè)者對鈦媒體App表示，面對潛在的緊急情況，首先是做好各種應急預案，然而當事態(tài)發(fā)展超出應急預案所能解決的范疇時，如何在專業(yè)信息化支撐部署完成之前，做一些工具化的支撐，實現(xiàn)快速應變，這可能是下一步智慧城市等領域需要著重要考慮的問題。

關鍵詞： 西安 鈦媒體 故障 app 防火墻 政務 云平臺 項目 疫情 阿里云