从数据孤岛到数据中心，西南证券做了3件事！
一、客户介绍
西南证券成立于1999年，唯一一家注册地在重庆的全国综合性证券公司。2009年公司在上海证券交易所挂牌上市，成为中国第九家上市证券公司，重庆第一家A股上市金融机构。目前在全国29个省份设立9家分公司和119家证券营业部，员工逾3400人。公司在做优做强传统业务的基础上，持续加大产品服务创新，为各类型客户提供全方位的证券服务。
为了更好的为公司各业务部门提供决策数据支撑，满足日益增长的信息化需求，IT部门通过帆软产品搭建了企业集团级的业务分析系统，业务分析系统目前挂载了300多个页面，供公司3000多人访问，系统月访问量达1万次左右。同时业务分析系统与公司OA系统进行了集成，满足各业务部门人员日常使用需求。
二、合作背景
公司领导层早在几年前就意识到了数据辅助决策的重要性，IT部门之前采用IBM的Cognos工具进行业务分析系统的搭建，但是由于Cognos在实现营业部树状条件和月份条件等常见查询控件需求、Excel导出样式失真、不支持word导出以及系统集成一般等功能上的局限性，同时缺乏对数据填报功能的支持，为了满足日常业务需求场景，在采用Cognos的基础上引入第三方开源报表框架，以弥补查询控件、excel导出、系统集成和数据填报上的功能需求。
这种业务分析系统的开发模式，在业务部门需求逐渐增多的情形下，由于较高的开发门槛和较长的开发周期以及若干功能细节的局限等原因，给IT部门带来较大的开发压力，无法及时应对频繁的需求变更，造成需求方满意度下降等负面情况。
因此，IT部门一直在寻求技术门槛更低、可操作性更好的工具，能同时满足业务分析系统的功能应用场景。在经过新的产品选型，综合产品功能、成熟度、服务支持、集成性等方面，在2016年西南证券和帆软合作，IT部门一方面将之前开发的报表进行迁移，一方面快速响应业务部门新的需求。
三、 数据中心建设
数据中心建设背景
企业级的业务分析系统，离不开底层数据的支持。随着公司业务规模的不断扩大，业务系统的增多，如果直接让业务分析系统连接各业务系统，一方面会给业务系统带来压力，可能影响正常业务的开展，降低业务系统的数据安全性。另一方面为了满足业务分析场景的需求，需要进行数据的整合，而各业务系统的数据口径不一致，如果直接把各业务系统的数据取过来使用，会给数据整合带来麻烦。
与此同时各业务系统多年来积累了大量的历史数据，包括了客户的基本信息、交易行为、业务流程等数据，这些数据蕴含着传统经验难以寻觅的价值，对于企业而言是一笔宝贵的资源。从公司层面来说，通过数据挖掘，可以去寻找目标客户、寻找客户需求、分析业务流程，让客户增长更迅速、产品销售更精准、业务流程更高效。站在企业创新的角度来看，如何利用好这些数据成了助推企业发展的关键。
因此为了实现对集团业务数据的管理和应用，需要建立企业级的数据中心。
在技术方面，西南证券的数据化建设起于2013年，公司实施建立了数据中心系统、上线了业务分析系统，合并整合了原有的龙虎榜，同时提供了更多的数据展示。
项目组也形成了持续稳定的数据中心团队，为公司提供数据平台和数据服务，数据中心团队目前共计有8人，数据中心支持了公司23个系统数据集中和数据交换，200多个任务，8T数据量。
数据中心体系结构：
数据中心整体架构分为数据仓库和数据分析两部分，数据仓库作为数据中心的底层，提供整体业务数据的落地存储，为数据分析打好地基。数据分析作为数据中心的应用层，通过数据仓库提供的数据，进行业务相关分析。
数据仓库目前使用Oracle数据库，每天夜间通过ETL工具定时自动将数据从各业务系统中增量抽取到贴源层，贴源层作为各业务系统数据的镜像，只采集数据，不对数据进行处理。采集过来的数据由于数据口径不一致，无法直接进行数据整合，因此需要将贴源层的数据根据统一的数据标准进行数据清洗，规范字段名称、统一数据单位与格式、将清洗后的数据落地到EDW层。DDW层则根据具体的业务分析需要用到的指标，建立指标模型，将EDW层的数据根据指标进行整合。同时根据业务需要建立新的数据库表，在数据仓库中将复杂的逻辑运算先处理掉，以减轻前端数据展现时的响应时间。
建设阶段
第一阶段目标是搭建基础平台、业务数据集中、满足基础报表。实现了以数据中心为核心的数据交互体系,为三方系统及业务部门提供数据服务。在应用上，实现了各业务条线的决策数据、业务报表需求，并建设了后台的任务调度管理平台、数据质量管理平台以及业务报表管理平台等功能，形成了公司级的数据基础平台和服务平台。
第二、三阶段目标是建立数据仓库、制定数据标准、深入数据应用。基于证券行业设计落地了数据仓库模型，建设了客户统一模型，通过身份识别将公司分布在各系统中的客户信息和标识进行统一和关联。在数据仓库的基础上设计和开发了多维指标层，将客户、分支机构各主要指标和标签进行了计算，满足客户分析、经营分析、固定报表等。同时形成和发布公司标准《西南证券数据仓库指标标准》。在数据标准、数据应用、数据治理三个方面上持续建设。面向公司各层级建立多维分析模型和自主分析平台，构成客户、产品、分支机构、渠道主题分析，满足自定义分析需求。
四、数据应用场景实例
客户开户引流和渠道分析
近年来证券行业随着与互联网的结合，证券公司间对零售客户的竞争越来越激烈，开户渠道、客户服务、产品营销各方面都需要付出极大努力，数据也在其中起到重要作用。比如作为客户开户的重要来源的渠道引流，如果对各渠道开户进入的客户数据进行分析，就可以看到不同渠道开的客户质量是不同的，有效户占比、人均资产、人均佣金贡献、客户地区来源等关键信息，都体现了不同渠道的优劣，因此我们就可以择优选择渠道重点进行投入，实现引入更优质的客户以及更高的成功率。另一方面对开户流程进行分析，又可以发现是流程中哪个开户环节成功率较低、是客户流失严重的，这样反过来对我们的开户流程进行优化，进而提高开户成功率。
潜在客户挖掘
通常业务流程上对于潜在客户寻找、产品营销是通过对客户的熟悉程度加以经验判断来进行的，这其中数据也可以起到相应作用。例如寻找期权业务的潜在客户，可以从两融客户中通过获取客户交易量、日均资产、周转率、交易频率等指标，将符合期权业务特点的活跃的、投机性强的客户集中筛选出来，作为期权业务的潜在客户进行重点推广，会产生更好的效果。
业务经营分析
数据在经营管理上也起到举足轻重的作用，对于业务的开展，通过数据趋势发现业务发展是否与经营决策相符、找出发展瓶颈，比如某项业务收入或客户数量的走势高低，加上与市场行情的对比，寻找出业务发展是由于市场活跃带动，还是被市场萎靡拖累；再加上市场份额的对比，能更客观的分析出业务发展的状况，未雨绸缪，而不会被表面数字所迷惑。比如去年的行情下，公司经纪业务交易量市场份额基本保持稳定、客户保证金也有小幅增长，但是单独看开户市场份额，就会发现公司经纪业务的开户市场份额全年都低于交易量市场份额，并且在有些月份开户量也低于市场开户水平。这体现出了当前的交易份额多数是由存量客户的交易增长提供的，新增客户量已经在拖后腿了，新增客户量应该更加投入，若牛市到来，这部分新增的客户将产生巨大价值。
五、未来规划
搭建大数据平台
目前客户每日资产、历史交易流水、客户盈亏率计算等较大的历史表，在做统计汇总、复杂关联查询时因数据量和计算量较大，目前类似Oracle关系型数据库已无法支持高效率查询。同时传统的数据仓库每天需要抽取的数据量越来越大，未来可能会出现第二天上班以后数据未完全抽取过来的情况。因此，未来规划通过大数据平台，提高数据响应的实时性。
多维分析平台直连大数据平台
在大数据平台搭建的基础上，利用FineDirect大数据直连引擎对接大数据平台，实现大数据量数据的在线自主分析，以及准实时数据分析及监控功能。
大屏应用
在数据底层、业务分析系统逐步完善的基础上，计划通过大屏应用，将公司经营层面的各种指标通过大屏的形式进行展现，让管理层和各业务人员能实时了解公司的整体经营情况。
