建站
咨詢
售后
建站咨詢
新聞中心
問題一：
成都創(chuàng)新互聯(lián)是一家專業(yè)提供龍陵企業(yè)網(wǎng)站建設,專注與成都網(wǎng)站制作、成都網(wǎng)站建設、H5頁面制作、小程序制作等業(yè)務。10年已為龍陵眾多企業(yè)、政府機構(gòu)等服務。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站制作公司優(yōu)惠進行中。
業(yè)務系統(tǒng)間文件傳輸交換各自為政，形成復雜的傳輸關(guān)系，當出現(xiàn)異常時，問題根源和關(guān)聯(lián)影響很難定位;
問題二：
傳輸技術(shù)多樣化，同時存在多種傳輸方式，系統(tǒng)間對接需單獨開發(fā)，無統(tǒng)一標準，后期維護困難;
問題三：
同一份文件進行多次抽取、發(fā)送，數(shù)據(jù)共享性差，系統(tǒng)間的文件傳輸流量無法復用、歸并，增加網(wǎng)絡域重復流量;
問題四：
全行傳輸業(yè)務缺少統(tǒng)一視圖，沒有對全行傳輸業(yè)務的統(tǒng)一管理手段，無法對全行的文件傳輸實時監(jiān)控。
G行文件傳輸系統(tǒng)作為基礎支撐系統(tǒng)，將數(shù)據(jù)文件傳輸進行統(tǒng)一規(guī)劃，向全行各應用系統(tǒng)提供數(shù)據(jù)文件傳輸服務接口，建立全行統(tǒng)一的傳輸接口規(guī)范和標準，保證全行文件數(shù)據(jù)傳輸過程的可管理性、高效性、可靠性，滿足G行業(yè)務發(fā)展和各應用系統(tǒng)間進行文件傳輸交互的需要。
一、架構(gòu)設計
G行文件傳輸系統(tǒng)采用節(jié)點網(wǎng)狀部署、信息集中管理的設計，節(jié)點分布在需要進行文件傳輸?shù)膽梅掌魃?，并且每一個節(jié)點都可以與同網(wǎng)絡域的其他節(jié)點相連，網(wǎng)狀部署設計具有較高的可靠性，每兩個節(jié)點之間的傳輸不受其他節(jié)點和管理端的影響，發(fā)送節(jié)點服務正常運行，就可以根據(jù)預設任務發(fā)送文件，接收節(jié)點服務正常就可以將收到的文件按照約定目錄存放。文件共享或跨域文件傳輸可通過中心節(jié)點轉(zhuǎn)發(fā)，中心節(jié)點為集群模式，支持自動路由及負載均衡，具體傳輸鏈路如圖1。
圖1 傳輸鏈路圖
文件傳輸系統(tǒng)分為接入、管理、平臺三層業(yè)務架構(gòu)，接入層負責與全行應用系統(tǒng)對接，根據(jù)本地存儲的任務信息對文件進行相應處理和傳輸，將傳輸結(jié)果上送至管理層，管理層負責節(jié)點和任務信息的管理，并實時同步信息給接入層和平臺層，平臺層則負責文件分發(fā)、傳輸擴展和數(shù)據(jù)存儲，如圖2。
圖2 三層業(yè)務架構(gòu)
二、運維管理
一般系統(tǒng)的管理員主要工作在于應對系統(tǒng)中產(chǎn)生的各種需要人工干預的事件，以及來自開發(fā)的變更需求，保障系統(tǒng)對外提供穩(wěn)定的服務。但隨著G行文件傳輸系統(tǒng)節(jié)點規(guī)模越來越大，每日傳輸文件數(shù)量越來越多，相關(guān)的事件和變更需求也越來越多，按照傳統(tǒng)模式一個管理員很難應對日益增多的事件。所以G行文件傳輸系統(tǒng)配套設計了管理模塊來解決運維中的問題，代替人工操作，減輕管理員壓力。
管理模塊的定位是保障生產(chǎn)穩(wěn)定有序的運行，通過設計、構(gòu)建自動化工具來發(fā)現(xiàn)、解決、降低風險，主要包括以下三個方面：
監(jiān)控策略：
監(jiān)控管理功能是監(jiān)控全行文件傳輸服務可用性的一個主要手段。文件傳輸系統(tǒng)主要從傳輸節(jié)點和傳輸任務兩個維度監(jiān)控：
- 傳輸節(jié)點啟動時會主動和管理端建立連接，管理端維護連接信息，并每30秒進行一次探測，連續(xù)5次探測失敗則進行報警;同時傳輸節(jié)點的運行信息會實時報送給管理端，當捕獲到異常時也會進行報警。
- 傳輸任務的監(jiān)控，是針對每個傳輸任務的時間閾值進行設定，當傳輸異?；虺瑫r還未完成文件傳輸，則進行報警。對于多傳、重復傳的情況，管理端也會進行判斷，并依據(jù)設定直接終止傳輸和報警。
- 監(jiān)控管理一直是持續(xù)優(yōu)化重點工作，未來將更少的依賴人分析報警信息，直接由系統(tǒng)自動分析，僅當需要人來執(zhí)行某種操作時，才會通知管理員。
應急處理：
任何需要人工操作的事情都只會延長恢復時間。一個可以自動恢復的系統(tǒng)即使有更多的故障發(fā)生，也要比事事都需要人工干預的系統(tǒng)可用性更高。
G行文件傳輸系統(tǒng)在服務異常和傳輸文件異常時都具備自動恢復的能力。當發(fā)現(xiàn)有進程異常終止時，系統(tǒng)會立即重新拉起，避免影響文件傳輸，同時進行相關(guān)記錄，收集起來以備調(diào)試和事后分析時使用。傳輸文件異常則是通過自動重傳或續(xù)傳的模式，確保文件傳輸及時恢復。如果文件生成過晚超出預定發(fā)送時間或者數(shù)據(jù)錯誤修正后需重新發(fā)送，這時不可避免的需要人工介入，可使用應急重傳功能，重新發(fā)起任務，系統(tǒng)會根據(jù)任務信息將文件重新傳輸。
變更管理：
以往的經(jīng)驗告訴我們，大部分生產(chǎn)事件都是由變更而觸發(fā)。G行文件傳輸系統(tǒng)的變更管理功能實現(xiàn)了傳輸任務的自動化在線投產(chǎn)、實時跟蹤投產(chǎn)情況及當出現(xiàn)問題時，安全迅速回退。這樣可以將人工因素排除在流程之外，操作不再受經(jīng)常發(fā)生在人身上的經(jīng)驗主義錯誤以及大量重復性勞動帶來的疲勞所影響。有效的提高變更執(zhí)行速度和降低變更帶來的風險。具體實現(xiàn)為管理端通過流程系統(tǒng)獲取變更文件，完成導入后自動將變更信息推送到每個節(jié)點，無需重啟應用，新增和調(diào)整的傳輸任務實時生效，保證文件傳輸?shù)倪B續(xù)性。
管理模塊的另一個定位是提升運維效率，通過用戶權(quán)限區(qū)分，開放查詢和配置功能，做到安全控制的同時，提供給用戶便捷的服務：
用戶管理：
用戶管理功能按照角色將用戶分為超級管理員、管理員、操作員三種級別，具有不同的訪問權(quán)限，而且對某個用戶可管理的節(jié)點也可進行指派，避免錯誤操作職權(quán)范圍外的節(jié)點。結(jié)合G行實際場景，運維一線人員分配操作員權(quán)限，可查詢?nèi)泄?jié)點和傳輸任務信息，在傳輸異常時具備應急處理權(quán)限;運維二線人員分配管理員權(quán)限，可查詢、變更自己負責節(jié)點和任務的信息配置、監(jiān)控設置;文件傳輸系統(tǒng)的運維人員具備超級管理員權(quán)限，對全行文件傳輸進行整體的管控。
傳輸查詢：
傳輸查詢功能有節(jié)點查詢、任務查詢、明細查詢。節(jié)點查詢能夠查詢?nèi)泄?jié)點地址、端口號、狀態(tài)和配置，便于運維人員實時獲取節(jié)點運行情況;任務查詢可以通過文件名稱、發(fā)送或接收節(jié)點等條件查詢?nèi)蝿招畔?，包括發(fā)送時間、發(fā)送目錄、接收目錄、文件生成情況，運維人員通過任務查詢能夠掌握系統(tǒng)間傳輸關(guān)系;明細查詢用來展示每一條傳輸記錄的發(fā)送和接收節(jié)點，傳輸時間，文件大小，是否成功等，使用明細查詢運維人員能夠確認每個任務的傳輸結(jié)果。
運行日志：
運行日志功能能夠直接查看全行各節(jié)點的日志信息，在節(jié)點異常或傳輸任務異常時，直接通過管理臺分析日志，無需登錄應用服務器，提高運維人員的問題排查效率。
G行文件傳輸系統(tǒng)，大大提升了文件傳輸運維管理的效率，但隨著業(yè)務的發(fā)展，文件傳輸場景和數(shù)量也會越來越多，文件傳輸?shù)墓芾黼y度將會進一步增加，我們需要繼續(xù)迭代不斷創(chuàng)新，逐步推進運維管理充分實現(xiàn)智能化。
三、總結(jié)
文件傳輸?shù)墓芾砉ぷ骰A且重要，G行文件傳輸系統(tǒng)的建設，全面整合了各種傳輸模式、梳理文件處理流程，實現(xiàn)文件傳輸標準化和統(tǒng)一管理，使應用系統(tǒng)能夠更好地專注于業(yè)務邏輯的建設，提高了系統(tǒng)處理能力，提升應用系統(tǒng)對業(yè)務的支撐能力，有利于業(yè)務的靈活展開。
未來隨著銀行科技的不斷發(fā)展，G行應用系統(tǒng)的全面上云，文件傳輸需先行完成節(jié)點負載均衡架構(gòu)和文件分布式存儲改造，滿足應用上云后的文件傳輸需求，這也是文件傳輸系統(tǒng)未來的發(fā)展目標，即覆蓋全行文件傳輸場景，不斷提高管理效率，持續(xù)為全行業(yè)務提供可靠的文件傳輸服務。
分享題目：G行文件傳輸架構(gòu)設計及運維管理
分享路徑：http://www.dlmjj.cn/article/dhijoio.html
