文丨劉雨琦
“數據庫的國產替代,必須經過嚴格的考慮,保證不會出錯,所以大多數企業的領導層選擇按兵不動或者簡單擴容。因為不換就不會錯,選了很久如果選錯,還可能會出現重大事故。”
某銀行數據庫技術人員曾對光錐智能一語道出了在數據庫的國產替代中的核心難點。“真的要大刀闊斧的改革,需要領導層有魄力和決心,否則只能是邊緣試探。”
下定決心全面替換,一方面是企業對國產數據庫有足夠的開放程度,另一方面,也要國產數據庫有超過Oracle等老牌數據庫的性能。一次改革,不僅完成“平替”,更能升級,幫助企業降本增效。
2022年,中國太平洋保險集團(以下簡稱:太保)面臨著一樣的十字路口,作為國內頭部的綜合性保險集團,太保核心業務系統的數據庫要比其他的要求更高、更困難,但同時,也更具代表性,一旦擁有成功經驗,也將為整個保險行業建立新的行業標準。
太保集團科技管理部總經理馬波勇曾公開分享過替換經歷:“太保從業務場景出發,通過梳理保險業務的典型場景,選擇了兩類數據庫。既有高并發、大數據量、具備互聯網業務特征的場景,又有大量以內部用戶為主的業務場景。比如在核心的P17客戶服務系統中,我們經過兩年多的調研、測試和評估,選擇了之前服務過金融行業的螞蟻集團數據庫OceanBase,進行分布式轉型。”
“數據庫的國產替代,正在從邊緣的OA系統,深入到核心的業務系統。如今國產數據庫占20%的市場份額,傳統數據庫占80%的份額,這樣的‘二八’分布將在三年之內顛倒過來。”OceanBase副總裁王爽認為,國產數據庫已經經歷了磨礪產品性能、攻克替代難關的過程,將在三年內加速進入全面升級的階段。
據光錐智能了解到,很多企業制定了內部戰略,要在2027年做到數據庫的“應替盡替”。國內企業逐漸對國產數據庫重新認知并抱有開放態度,尤其在數據庫最核心的金融場景,也有更多企業愿意“押注”在國產數據庫上。
國產數據庫,從金融行業里“殺”出了一條路。金融行業升級的三座大山
“沒有經歷過金融行業歷練的數據庫,不算合格的數據庫。”
一直以來,金融場景都是數據庫的最大練兵場,不僅是因為數據量龐大,同時,交易、分析、事故更加復雜,高頻高并發是金融數據庫的特性,更因為金融行業本身7×24小時不間斷,對數據庫安全性、穩定性都有更高要求,運維也更加復雜。
王爽舉了一個例子:“以前銀行的交易來自于營業網點,存錢、取錢、轉錢,但現在已經互聯網化了,頻率大大增加。以前一年去營業廳也就三五次,但現在用戶每天都在交易,每天點外賣、坐公交/地鐵,每刷一次都會產生數據。這就造成了爆炸性的數據量增長,傳統數據庫處理起來,成本非常巨大。所以,并不只是為了國產替代,更是為了升級。”
此前,企業在選擇國產數據庫時,第一考慮的是與Oracle的適配和兼容關系,以降低應用和遷移成本。“2020年之前,幾乎所有的國產數據庫對企業宣傳的核心價值就是兼容Oracle和MySQL。”一位數據庫廠商對光錐智能講道。
但在真正落地時發現,兼容是不夠的,在適配時必須要取舍。Oracle數據庫壟斷了近20年,有很多特性逐漸落后,國產數據庫的單純替代沒有意義,底層架構發生改變之后,性能要做到更加優化。
更重要的是,銀行、保險、券商過去與Oracle進行了深度綁定,包括?定義鎖、?治事務、嵌套表、索引組織表、PLSQL包、物化視圖、DBlink、觸發器、系統視圖,改造難度極?,如何提升龐?存儲過程中的識別效率?關重要。
這不只依賴數據庫廠商一家來完成,更需要使用方一起深度改造。太保集團與OceanBase打磨的過程中,馬波勇總結了升級過程中的三大挑戰:
第一是國產數據庫的性能,能否滿足業務需求。“由于之前大部分系統使用傳統數據庫做支撐,在制定數據庫的選型策略和升級方案方面,系統的兼容性、穩定性,數據遷移的便捷性、完整性是我們考慮的首要問題。第二,要考慮它在金融行業的應用案例是否廣泛,是否具備足夠的成熟度。第三個是在運維方面,需要具備較強的自主營運能力和支撐能力”,馬波勇談道。
第二是數據庫的安全性和彈性伸縮能力。銀行保險業數據量大、私密性強、波峰波谷期動蕩,本地部署的數據庫能保證安全性,但是相應的成本也會更高,且彈性伸縮能力差,無法靈活應變銀行互聯網化后的高頻和多發需求。
第三是平滑遷移的能力。遷移的過程中保證業務不停,同時要高度兼容,節省調試時間。馬波勇談到:“太保集團作為32年的國企,數據量及業務量都很大,如何在有限的時間窗口,完成數據遷移,成為擺在太保集團面前的一大難題。”
那么,這三座“大山”,太保和OceanBase是如何攜手跨過的? 最難的P17系統,OceanBase如何搞定?
OceanBase所升級的太保P17核心系統,同時面臨著上述的三座大山。
在太保的業務系統中,有P20的級別之分,P17是集團排名中的高級別,因此,該系統的成功升級具有標桿作用和里程碑意義。“P17客戶服務系統”是太平洋保險產、壽、健康、長江等所有子公司客戶服務系統的整合,為公司6地8個電話中心超過2000坐席提供系統服務。”太保集團數智研究院首席數據庫專家林春介紹道。
“與一般熱線系統相比,‘P17客戶服務系統’涵蓋了太平洋保險幾乎所有子公司業務的服務入口功能,包括車險報案、車險增值服務、非車人意報案、道路救援、壽險保單查詢、壽險保全受理、投保預約等等,對接周邊系統超過200個,是太平洋保險關聯關系最為復雜的系統之一。”
同時,作為太平洋保險的服務品牌,“P17客戶服務系統”需要提供7*24?時的全天服務,系統可?性要求全年99.9%以上,對停機時間有著嚴苛的控制。因此,也是太平洋保險運維保障最?的核?系統之?。
毫無疑問,對于P17的升級,是最為慎重的決定。2021年初,太保對國產分布式數據庫,從功能、性能、易用性、完整性、可移植性、可靠性、擴展性、安全性等指標進行了全方位評估,最終選擇了OceanBase升級傳統數據庫。
2022年上半年,在不少項目暫停、放緩之時,太保和OceanBase正在緊鑼密鼓的遠程協作,加班加點,只為搞定P17。
據林春回憶,2022年初啟動項目到8月31號,核心業務場景就完成了數據功能的開發;12月18日,P17第一個子系統成功上線,并完成了全量數據庫遷移;2023年5月6日,核心交易、相關的報表庫遷移上線;5月13日核心系統中最難的核心交易庫上線。至今,P17核心系統已經成功運行了200多天,確保交易成功率達到99.99%。
“項目剛開始時,正是上海管控最緊張的時刻。大家沒辦法到場地,造成了很多困難,但是OB在產業側和技術側聯合攻堅,把這塊硬骨頭啃了下來。”林春談起到項目的全過程,仍然不禁感慨。
整個升級的流程,可以分為四個階段:
第一階段的重點,是通過OceanBase的分布式架構徹底升級傳統商用的主備架構,破除傳統數據庫與操作系統、中間件的耦合。據了解,與Oracle配套的DS、Cognos等產品對于Oracle深度依賴,適配改造復雜度很?,將數據庫分庫分表,從集中式拆分成分布式,每個分片都能夠獨立執行讀寫,這個過程中需不斷拆解中間件和操作系統之間的關系。
第二階段,OceanBase和太保并沒有急著對業務進行升級,而是建立了遷移“標準”,一次次探索形成行業經驗,破除替換升級的壁壘。
OceanBase華東區金融技術服務總監郭文講道:“廠商和用戶側的目標是希望效果穩定的與傳統數據庫兼容,標準化、流程化、制式化能夠降低雙方的人力投入,少走彎路,同時能夠復制工具和經驗。”
郭文介紹道:“OceanBase通過制定33類標準規范和28類最佳實踐,以及打磨了16款數據庫轉向工具,實現了標準化的Oracle兼容,這會極大程度破除遷移的不透明性,讓企業更有信心,意識到升級不再是一件特別困難的事情。”
比如創新研發的“指南針”工具,能夠對傳統數據庫進?改造評估預掃描,包括近20個檢查?類,近200多個檢查項,評估項全??效,極?提升項?組問題排查的效率,縮短項?周期從?降低應?改造成本。以“P17客戶服務系統”為例,掃描出改造項約6000個,假設???式排查2個問題/?時,單個項?即節約??成本12.6?/?。
第三階段,對P17中的業務場景進行逐個點測。對壽險保監會稽核接口系統、壽險營銷員系統的傭金計算、智能決策服務平臺和壽險統一承保平臺等“一事一議”的替換。
第四階段,從點測到全面替換。這里的全面替換,并不只是P17系統的全面替換,而是太保秉持著“先難后易、應替盡替”的原則,以P17這套最復雜的系統為模版,對太保幾百套系統進行分布式替換。
在全面替換后,國產數據庫的優異性能開始展現出來。據太保反饋數據,在保持了高運行性能、高可用能力的同時,數據庫軟件的運維費用大幅降低,每年可節省設備投入數億元。特別是OceanBase的高級壓縮技術,結合“數據庫瘦身”,將存儲容量節省80%以上。
可以說,升級后的應?系統彈性擴縮容、處理速度、數據加?能?均實現?幅提升。 長于金融的數據庫,更懂金融
OceanBase與太保的探索經驗,也帶動著金融數據庫發展進入下一個階段。
在整個實踐的過程中能夠明顯發現,金融場景考驗的不只是性能,更多還在于復雜業務中的靈活應變能力和適應能力。顯然,誕生于金融場景的OceanBase更懂行業的需求和痛點,也有機會能將實驗室的解決方案,搬到了業務中去。
2013年,OceanBase開始應用于螞蟻集團的支付業務,當時大部分互聯網企業都在采買Oracle,但隨著雙十一交易量的瞬時爆發,成本高企壓力之下,促使了云廠商們開始自研數據庫。
彼時OceanBase最核心的任務,是完成降本增效和彈性伸縮。在這兩個方面的經驗,也在太保案例中得以體現。
正如前文所講,之所以將存儲容量節省至80%以上,來源于OceanBase獨創的高壓縮比的分布式存儲引擎,在提升業務系統穩定性和安全性的前提下,存儲成本為70%-90%,同時硬件和維保資源投入顯著降低。
林春就算過一筆賬:“1TB的存儲成本傳統數據庫要4500塊錢,OceanBase壓縮到了三分之一,成本會大幅減少。另外數據庫加密之后,對場地成本要求就沒有那么高,也能降低硬件成本。”
2020年山東移動計費業務系統接入OceanBase,其計費業務詳單處理時長縮短至5分鐘,處理效率提升30%,數據由7T壓縮至0.7T,存儲投入成本降低90%。
另一方面,OceanBase的單機一體化分布式架構也能夠在硬件存儲資源幫助企業控制成本和靈活擴縮容。顧名思義,單機一體化的數據庫,既能夠適應大型企業的系統逐步替換需求,在不需要分布式架構時,也可以作為一個完整的集中數據庫提供,讓企業能夠部署更靈活。
同時,HTAP集TP(交易)和AP(分析)于一體的數據庫架構,也能夠同時適應TP場景和AP場景,單一引擎支持高性能混合負載應用,通過基于時間片的混合負載調度技術,解決混合負載的資源隔離問題。一個典型案例是太保的壽險需要與保監會稽核系統接口,以前該系統夜間批處理占據整體計算資源的90%以上,現在,相同資源的批處理節省了時間62%,監管報送批量場景的性能提升了3倍。
除此之外,全自研數據庫也成為了OceanBase換道超車的關鍵。
OceanBase數據庫創始人、首席科學家陽振坤此前提到,“全自研是個苦活累活,OceanBase數據庫是從第一行代碼開始,到現在積累了幾百萬行代碼量,但是好處也顯而易見。”
讓林春印象最深刻的是OceanBase對Bug的修復速度非常震撼。常常很多問題,大致是第一天發現,第二天就能更新一個修復版本,這就體現了OceanBase全自研數據庫,將內核代碼都掌握在自己手中的特點。Bug修復速度是技術兜底的一個很好的驗證,如果沒有對核心代碼的掌控,從排查問題到解決問題,就做不到閃電速度。
也正是因為上述原因,讓大型銀行、保險業開始對國產數據庫充滿信心。
但這也只是萬里長征的第二階段,數字化、智能化的車輪滾滾向前,國產數據庫從金融場景“殺”出來之后,千行百業中還有更廣闊的星辰大海。


產品與服務
聯系站長
關于我們