在国内银行业尚无Hadoop技术成型案例的情况下,光大银行首个基于Hadoop技术的应用试点项目 -  - 历史数据查询项目于2013年10月底成功投产上线,这是Hadoop技术在银行系统应用上的一个重要里程碑.
 从硅谷到北京,从中关村到金融街,大数据的话题越来越热门,关于大数据技术的探索越来越广泛.致力于打造最具创新力银行的中国光大银行紧密跟踪业务,技术发展趋势,开展了对大数据技术的深入研讨,并尝试将大数据领域的Hadoop技术应用于银行IT系统建设.光大银行首个基于Hadoop技术的应用试点项目 -  - 历史数据查询项目于2013年10月底成功投产上线,这是Hadoop技术在银行系统应用上的一个重要里程碑.本文将浅析光大银行历史数据线上化研究和Hadoop技术应用.
 一,历史数据线上化带给系统的需求
 中国光大银行的客户历史交易数据原本存放在磁带库和光盘库中,查询的效率较低,工作量较大.将这些历史数据放入联机服务系统,提供即时高效的查询服务,既是提升客户服务的迫切要求,也是盘活数据资产,发挥数据价值的重要基础.
 从业务需求角度看,这个系统需要提供历史交易数据的导入和查询服务,具有对数据一次写入多次读取的功能特性;从系统功能上看,该系统需要具备存储光大银行10余年历史交易明细数据的能力,并依托于历史积存的大数据,支持大时间跨度的高性能查询,实现线下数据线上化的目标;从系统运维角度看,该系统需要具有可持续发展的能力,满足未来增量交易数据的持续沉淀以及数据规模外延的扩大,具备较好的可扩展性.可以看出,虽然这个系统的业务功能并不复杂,但对系统的技术要求很高.
 二,选择Hadoop技术
 光大银行在项目技术选型期间,首先考虑了利用传统技术的可能性.采用传统技术,优点在于具备充沛的成型案例,相对承担较小的风险.然而传统存储技术对于硬件设备要求较高,成本昂贵.同时,响应效率随着存储数据量和查询数据量的增长而降低;在扩展性方面具有较大局限性.
 限于传统技术所带来的诸多问题,在科技飞速发展的时代,是否有更适合本项目特点的新技术?答案是肯定的.
 Hadoop技术,在大数据时代应运而生,已经在互联网行业广泛应用,依靠分布式架构实现大数据存储和大数据运算,具有低硬件成本,高性能,高可用性,高可扩展性的特点,尤其适用于对数据一次写入多次读取.这些特点正是历史数据线上化的要求.然而,该技术在国内银行尚无成型案例,是否适合银行运营体系,是否能满足银行系统对稳定性,安全性的要求还有待考察.
 以"打造国内最具创新能力的银行"为愿景的光大银行,持续保持着对各项新业务,新技术发展趋势的跟踪,光大科技人对于在互联网领域应用广泛的Hadoop技术也进行了充分预研.在历史数据查询项目中,Hadoop的解决方案以其低成本,易扩展,高可靠的特点在各项方案中脱颖而出.
 三,Hadoop技术在项目中的应用
 Hadoop,由HDFS,MapReduce,Hbase,Pig,Hive和ZooKeeper等成员组成,各成员都具有独特的功能和鲜明的特点.根据历史数据线上化的特点,本项目主要选择使用了HDFS,MapReduce,Hbase和ZooKeeper等成员.
 下面介绍应用Hadoop技术方面的特点.
 1.单集群VS双集群.为满足对系统灾备的要求,需要同时在生产机房和灾备机房部署集群,且当生产机房失效,灾备机房的集群可对外独立提供服务支持.
 Hadoop技术的设计初衷是依靠集群力量高效工作,基于集群架构的优势,从理论上可以在多个机房部署同一大型集群.在两个机房部署单集群的方案虽然可以充分利用Hadoop技术的集群理念,但也会遇到一些问题:首先,需要保证单一机房数据完整性,使数据复本分布到不同的机房,以保证单边机房可以随时对外独立提供服务支持.其次,当出现非系统性突发状况时,很难保证持续稳定的服务供应,容易造成集群内管理的混乱.此外,DateNode间的数据传输是常态,会大量占用机房间的网络带宽资源.要解决上述问题,需要对Hadoop架构进行周密的重构,进行大规模的改造.
 综合分析,结合项目背景,改进原有思路,采用双集群解决方案.在两个机房分别部署一个集群,集群间服务,数据独立.在单机房,单系统出现异常时,快速切换,保证数据安全性和业务连续性;双集群的数据独立传输,整合和加载,最大力度节约机房间的网络资源;双集群特有的双活设计,即两个集群同时提供查询服务,提高了硬件资源利用率.
 2.高可用性.预防出现单点故障,保证系统运行,在HDFS采用双NameNode,在Hbase采用双Hmaster的设置,并由ZooKeeper进行管理,出现故障时的自动切换.
 采用Hadoop技术对数据的多冗余复本机制,确保无单点故障.在数据节点的某一节点出现故障时,仍保证数据完整,可以提供服务,并且可以自动复制数据,保证达到设置的复本数量.
 3.可扩展性.系统采用Hadoop架构,实现动态扩展,系统扩容,平台增加新节点后,自动在所有节点之间均衡数据.后台根据忙闲程度自动发起,占用少量系统资源,无需人工干预,实现数据均衡分布(如图所示).
 四,银行数据支持平台的创新
 通过历史数据查询项目的实施,光大银行完成了历史数据线上化,提高了业务办理效率,提升了客户服务质量.本项目使银行对Hadoop技术的研讨付诸于实践,使Hadoop技术与银行运营体系深度结合,是对银行数据支持平台的一次勇敢创新.这项技术具有低成本,高可用,易扩展三大特点,有效解决了海量数据存储问题,突破计算能力瓶颈,大幅度节约投资,从而优化投资效率,提高投入产出比.此外,本项目在大数据存储,大数据查询,大数据运算等领域,对Hadoop技术的应用进行了有益的探索,为银行迎接"大数据"时代积累了宝贵经验.
 Hadoop家族的各个成员作用
 这篇文章不提原理,讲讲Hadoop及其周边项目的作用.hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢?官方定义:hadoop是一个开发和运行处理大规模数据的软件平台.核心词语是平台,也就是说我们有大
 江苏飞浩信息科技有限公司一直致力于专业的数据恢复,信息安全方面等方面工作!随着电脑,网络的普及,数据存储本身的安全就已然成为人们首要关心的问题.存储介质本身会出现故障的绝对性却决定了无论多么优良的存储介质也无法绝对安全的现实.
 江苏飞浩信息科技有限公司自成立以来,一直从事计算机数据恢复,信息安全保障等工作,为了适应信息安全的发展需要,中心引进国际先进的设备和数据恢复技术,并自主开发了适合中国计算机用户的"FehoDisk"数据实时备份产品.中心研发的虚拟RAID软件已经通过相关部门的验收.