设为首页 | 加入收藏 | TAG标签 | 网站地图 现代商业杂志社-国内统一刊号:CN11-5392/F,国际标准刊号:ISSN1673-5889,全国中文流通经济类核心期刊
热门搜索:长期股权投资 如何营建良好的 顾客忠诚度 发展成效 借鉴外地先进经验 情绪推动力 秦皇岛市 管理者 电子商务 义乌

金融视线

当前位置:主页 > 文章导读 > 金融视线 >

大数据在商业银行的技术实现和应用

2020-02-13 21:51 来源:www.xdsyzzs.com 发布:现代商业 阅读:

范佩朕 徐冰雪 赵钟伟 中国银行浙江省分行信息科技部

摘要:随着互联网金融的发展,人类正在步入大数据时代,在这种新的形势下,商业银行如何因时而变,如何深入分析挖掘数据的内在价值,转变传统的经营发展模式,打造数据核心竞争力,不断推进金融大数据的建设,是摆在商业银行面前的一个重大而紧迫的课题。文章基于当前商业银行在大数据背景下所面临的机遇和挑战,介绍了在数据存储和管理,数据分析和挖掘,数据融合和处理等大数据技术的实现和应用,通过MPP分布式大数据平台实现数据集中存储管理;通过数据整合构建多个领域数据集市;采用决策树、神经网络机器学习等方法建立数据模型,实现智能预测、风险管控、精准管理。

关键词:互联网;大数据;机器学习;数据挖掘

一、大数据在商业银行的技术实现

商业银行的数据主要来源于金融交易、客户信息和业务记录,数据体量大,增长速度快,数据量已经从TB级跃升至PB级。同时,金融数据种类繁多,来源于银行内部的各种业务系统,涉及核心、信贷、反洗钱、理财、基金、信用卡等业务数据,数据结构不统一。如何从种类繁多的海量金融数据中分析挖掘出有价值的信息,需要运用以下关键技术来实现。

(一)数据存储与管理技术

大数据需采用先进的分布式存储及加工技术,缩短数据采集、导入、加工的时间,从而使海量数据处理成为可能,解决原来在传统架构上只能采用少量数据进行采样分析的弱点,可直接对TB级别的金融数据进行全方位的分析;银行业对于数据的安全性、稳定性要求更高,需要运用更为先进的技术对数据进行高效管理,如通过DASNASSAN等存储方式保证数据的安全和可靠。

(二)数据整合、处理和展现技术

运用新型的数据处理技术(包括分布式计算、流处理等)提高数据转换、清洗、集成效率,构建统一的数据应用平台,利用大数据技术将数据可视化,是提升数据服务金融业的具体体现,在银行客户全方位视图、金融产品监控、反洗钱检测方面拥有突出的应用前景。

(三)数据分析和挖掘技术

运用决策树、神经网络、聚类分析、降维分析等机器学习算法对海量的金融数据进行深度挖掘和分析,从海量客户信息、金融产品信息、金融交易信息中发现潜在的有价值信息。管理人员可以基于算法的预测结果进行精准营销和风险防控,使银行的业务向更好的方向发展。

二、大数据布局和功能 

(一)大数据建设整体技术架构

通过整合核心系统、理财系统、基金系统等多个系统的基础数据,经过MPP大数据平台的加工处理提取出高价值应用数据模型,从需求和实际应用出发,根据不同的应用主题,进一步设计不同的数据应用平台,分期推进建立个人、公司、风险、支付清算、财务、渠运六大数据应用平台,实现客户透视、风险防控、财务管理、自动化服务、精准管理等功能,为业务提供各类数据应用管理信息系统;同时,通过搭建Spss Modeler数据挖掘平台,利用决策树、关联分析等前沿的数据处理算法,对金融营销的应用场景进行建模分析,实现对客户精准分析,预测客户金融行为,得出一些传统逻辑分析中无法得出的结论。大数据布局的整体逻辑结构如图1所示。

图1 系统的整体技术架构

1 系统的整体技术架构 

(二)MPP大数据存储与管理技术 

随着大数据的到来,数据分析需求不断深入,对数据的分析统计要求不断提高,为提高数据分析综合能力,充分发挥数据对管理和决策的支撑作用,引入MPP大数据存储和管理技术。

GreenPlum数据仓库是基于MPP架构的关系型数据库,支持DWBI的附加功能,利用并行数据流引擎,GreenPlum可以直接通过SQL操作外部表,数据加载完全并行。我行的GreenPlum采用了万兆以太网交换机,与原来普通的oracle数据仓库相比,数据查询时间从千秒级降为几秒至十几秒,数据导入加载从几个小时降为几分钟。目前GreenPlum数据平台上加载了包括核心、基金等系统基础数据表几百余张,开发了对私交易历史查询、客户关联关系全景展示、个人客户应用系统等功能。通过引入GreenPlum大数据存储管理技术,解决了数据批处理时间长的问题,提升了前端复杂查询的速度,提高用户体验,并进一步支持深入的数据挖掘,助力精准营销和科学决策。

(三)数据应用平台建设

为提供更为便捷多样的数据服务,依托数据实现数字化、智能化,有效利用数据提高运营效率,提高风险防控的能力,分期推动建设了个金大数据平台、公司金融信息平台、客户风险分析平台等数据应用平台,通过整合各类数据资源,依托MPP分布式大数据平台强大的计算分析能力,实现用户画像、产品分析、客户营销挖掘、存贷款业务分析、模型预警分析以及报表报告自动化等众多功能,有效推动了业务发展。

个金大数据平台整合了个人金融、银行卡等信息,提供资金流分析、客户挖掘筛选、客户信息展示、情景化营销模式,主要包括:

1.存贷款业务分析:包括存贷款趋势分析、存贷款日报表、人民币资金流向分析、外币资金流向分析。

2.客户营销挖掘:从基础属性、金融属性、营销属性和产品属性进行分析。基础属性和金融属性从年龄、性别以及日均金融资产等信息去挖掘目标客户群;营销属性和产品属性从客户持有产品方面挖掘目标营销客户。

3.产品分析:包括客户群分析和产品管理分析两个方面。

4.风险监控:包括外汇风险监控、贷后管理、风险提示。

客户风险分析平台将公司、中小、个贷、信用卡等客户信息统一纳入风险联动防控对象,打通各条线的授信风险防控事项,旨在建立集中统一的风险信息管理平台,全面展示客户业务情况和风险征兆。主要包括以下功能:

1.行内外客户画像:整合内外部数据资源,全方位展现客户基本信息、风险信息、授信信息、存贷款与业务量信息、经济资本信息、企业间关联关系和担保链检测。

2.模型预警:包含了资金流向和账户余额监控、疑似贷款资金回流、存贷比、结算量偏低、借款人自身预警信息等数十个模型预警。

3.报表报告自动化:实现一键生成授信报告,减轻业务工作压力,节省人力成本。

4.报表统计:包括信用卡、零售、公司三个维度的黑名单和预警查询,以及对公授信逐账户明细和对公授信逐客户明细。

5)互联网风险舆情监控:围绕企业负面信息为核心,将舆情信息分为8个大类,145个小类来进行风险分类体系建设,通过对数据的存储和分析,构建我行授信客户互联网态势感知视图,实时监控我行授信客户及其相关联成员的互联网风险,实现企业互联网风险画像

(四)运用算法模型,挖掘数据价值

建立以解决实际业务需求为目标,建模过程独立的数据挖掘平台。平台支撑从数据融合、数据清洗、数据分析、数据建模、参数调优、模型评价整个建模过程。在此平台上开发了信用卡分期响应度模型、中小企业信用风险评分模型、产品推荐模型等,实现了获客挖掘、智能预测、风险防控,形成了一批有价值、可落地的建模成果。

信用卡分期响应度模型是在Spss Modeler数据挖掘平台中的一次具体实践。基于对分期业务的理解,从业务需求的实际应用出发,对信用卡的相关数据进行分析,提取出有效数据构建客户分期特征,模型采用决策树算法对特征参数进行分类分析,并基于分类结果,对分期可能性进行评分。信用卡分期响应度模型投产前,依靠人工手段很难从海量数据中找到目标营销客户;模型上线后,通过批处理实现自动化生成分期客户清单,有效释放人力成本。

通过机器学习算法建立中小企业信用评分模型。通过对数据的深入分析,从客户基本信息、存贷款信息、理财信息、交易信息和预警法院公告等风险信息中提取1000个特征指标,通过基于IV值的单变量筛选方法和基于logistics回归的特征消除、变量相关度的多变量筛选方法,选出30个最优特征变量进行建模,通过基于logistics回归的评分卡模型最终从基本信息、履约能力、交易结算、经营缴税、负面消息五个维度衡量客户信用评分,并最终给出总评分和风险概率值。

图2 中小企业信用评分模型结果展示

2 中小企业信用评分模型结果展示

模型的评分结果经过业务部门的评估审核,认为中小企业信用评分模型对风险客户具有一定的识别能力,并将该模型作为贷后风险监测的重要模型之一。

三、结束语 

未来的金融是科技驱动的金融,利用科技来驱动创新、提高效率、降低成本是未来金融业发展的趋势。数据作为银行业的核心基础设施和资产,商业银行应抓住机遇,加强大数据技术创新和产品创新的能力,利用大数据技术深化大数据挖掘,用数据创造价值,为经济的发展提供更多的智能化产品和服务。

参考文献:

[1]蔚赵春,凌鸿.商业银行大数据应用的理论、实践与影响[J].上海金融,20139.

[2]许嘉馨,刘晓星,崇章.大数据对商业银行的影响分析[J].调查研究,20165.

[3]傅志华.大数据在金融行业的应用[EB/OL].http://www.leiphone.com/news/201411/BW3iFXbV2mdPrIDt.html.

[4]王萍.大数据时代商业银行转型发展[J].商业现代化,201630.

[5]赵中林.大数据在金融领域的技术实现和应用[J].金融科技时代,20186.

[6]彭少辉,叶春.大数据在信用卡风险防控中的应用实践[J].金融科技时代,20186.

相关内容
发表评论