交易峰值 8000 笔 / 秒的银行架构

来自 | CSDN

建设银行数据中心在“新一代”核心系统、“两地三中心”基础设施建设中,进行了一系列技术架构创新,提高了系统吞吐能力和资源供给效率,提升了系统可靠性,大大增强了数据中心风险防范水平。以电子渠道为例,业务量从 2012 年每月 21 亿笔增加到 2016 年 179 亿笔, 年均增长 72%。2016 年“双十一”的核心业务系统交易峰值接近 8000 笔 / 秒,较 2015 年增长 81%,所有系统均顺利应对业务高峰,充分验证了建行新一代系统架构的健壮性。

1、融合架构:主机平台 + 分布式开放平台
1>. 核心账务系统,部署在主机平台上
主机平台可用性高,运行稳定,适合作为银行核心系统运行平台,但也存在风险集中、处理能力瓶颈、敏捷性不够、价格昂贵等不足。主机资源用于核心账务系统,利用开放平台处理查询业务或者普通维护性交易,采用削峰填谷的方法优化主机资源使用,确保账务交易的资源。为了更好地利用主机资源,建设银行提出“主机 + 开放”的融合架构,确保“好钢用在刀刃上”。
2>. 查询系统,部署在分布式平台上
查询系统包括:个人客户综合积分、贷记卡管理、客户信息查询、对公 / 对私存款查询、客户渠道。目前各类查询交易总计下移日均交易量 1.4 亿笔,节省主机资源 2.6 万 MIPS,相当于 8.22 亿元。
查询系统与账务系统分离,既分散了系统风险,又提高了并发处理能力。最近三年在实际业务量年均增长 32% 的情况下,主机 MIPS 资源零增长,取得了节省投资的良好效果。
3>. 在分布式开放平台上,X86 服务器替代小型机
在开放平台的选择上,由于同等计算能力的 X86 服务器价格只有小型机的 1/20,所以首先在新一代架构的应用(AP)层中大量采用 X86 服务器替代小型机,随着替代技术逐步成熟,继续提高在数据库(DB)层使用 X86 服务器的比例,进一步减少小型机的数量。自新一代实施以来,应用层和数据库层部署的 X86 服务器替代小型机已累计节省 12.2 亿元。新一代实施前后,小型机占开放计算资源比例已从 1/3 逐步下降到 1/12,计算资源的总体可靠性和可用性保持不降。

图 1 基础设施云部署架构

2、私有云,能提供 1000 台以上的虚拟机
建设银行自 2013 年起采用云计算技术来构建基础设施环境,将计算资源、存储资源、网络资源统一打包成共享资源池。根据每种资源池的特点,采用不同的云部署单元(CDP)模型,构建了 X86 虚拟化资源池、Power 虚拟化资源池、HP 资源池以及大数据资源池等。以云部署单元为基本单位进行部署、更新和替换,统一了标准,提高了通用性,降低了成本。目前已经在私有云环境中部署了 1000 台以上物理机,提供 10000 台以上虚拟机,有力地支撑了“ 新一代”核心系统上线。
3、网络架构:一网双平面,可靠性达到 99.999%
新一代核心网络平台采用“一网双平面”的网络架构,用多协议标签交换技术,采用层次化、模块化的网络结构,将网络局部可靠性逐步提高到 99.999% 水平,支持无中断维护。新一代局域网通过推广柜顶接入架构,以虚拟端口聚合技术为基础,采用插入式服务架构来提高网络综合服务能力,接入层交换机使用板卡延伸技术,大规模标准化网络交换机配置。

图 2 新一代局域网柜顶接入架构

通过采用“双平面”冗余设计避免逻辑单点,采用分散部署模式来分散整体性风险,逐步采用自动化变更手段杜绝操作失误。采用松耦合的理念,模块化、层次化,网络服务资源池化,将二三层网络与四七层网络服务解除耦合关系,减少管理复杂度,有利于横向扩展,大幅提高数据中心网络平台的可靠性、健壮性。

4、安全:“多层水闸式”防范体系
原安全架构的安全功能与应用系统集成实现,嵌入到应用系统中,与应用系统紧密耦合,导致安全策略与安全功能固化。“新一代安全架构”的应用系统只集成通用、标准化的安全代理,所有安全功能通过安全代理为应用系统提供,后台的安全服务可以统一调度、灵活组合,安全服务的调整不会导致业务系统的改造。
5、标准池化存储结构
1>.NAS、SAN 存储
SAN 存储从应用(AP)层、数据库(DB)层混合部署转变为全数据库层部署,大面积在应用层使用 NAS 存储替代 SAN 存储。
2>. 打造“存储标准化”
实行存储配置标准化、资源池化,屏蔽了不同产品带来的差异化,减少了维护成本,同时实现了存储资源快速、灵活的供给。
3>. 采用庞大的“边缘—核心—边缘”三层 SAN 存储网络
实现了楼宇内任意地点的存储网络接入。

图 3 新一代标准化资源池化存储架构

6、自主研发云管理平台
自主开发了全面自动化的云管理平台,先后实施了 IT 基础设施的服务器安装、版本部署、服务启停、日常巡检、配置比对等一系列自动化工具,极大提升了数据中心运营管理的自动化水平,形成全生命周期的自动化管理模式,完美支持了应用项目以及相关 IT 框架、平台、技术和安全组件的投产上线。

图 4 云管理平台架构

创造了5 个工作日内交付上千台虚拟化服务器的行业纪录,在简化流程、提高效率的同时,有效控制了操作风险。