58同城：大数据在互联网行业的应用

文 | 商业智能研究 2017-05-26 9:51:22

58同城大数据平台建设背景

公司在一开始时，数据的建设都是比较落后的，但随着互联网的环境推动，以及公司计划2013年在纽约交易所上市，这时候面临一个很大的问题：在上市之前，公司的数据，无论是流量数据还是财务产品数据都需要经过非常严格的审计。为此，我们开始整理数据，做数据报表，花费一年多的时间做数据整理、数据规范，慢慢的大数据的平台有了雏形。

2015年到2016年这两年，公司将目标投入到数据智能上，建立了一个非常大的系统平台，并且让整个销售和产品运营体系全面实施数据化运营。在这个平台上，我们不仅仅要进行管理销售，还要构建销售能力模型，预测未来业绩。因为在美国市场的股价，更多的是依赖公司未来的发展，公司未来预期决定了公司现在的股价，因此总共的业绩预测非常重要，能够非常精确地预测销售更加重要。

58同城

大数据平台建设

公司拥有很多的业务数据库，有订单、CRM、合同管理、人力资源等数据库。以往，我们会把这些数据库里的数据做集成，做一个简单的数据仓库，然后根据业务需求，在数据集成的基础上，通过帆软报表建立一个决策系统，做数据展示，提供服务。这个过程的好处是开发成本低，投入成本低，技术架构简单，可以非常快速的在公司内部运行起来。

公司在基于未来发展情况下又呈现了新一轮的现状，并提出了以下需求：

1、业务的多元化发展，公司大量的并购导致集团数据量和数据需求爆发式增长；
2、数据网状流通，基础数据、数据指标缺少统一的元数据管理；
3、为了更好发掘数据价值，提升数据能力、构建标准化数据体系成为当务之急。

大数据平台业务架构

集团的业务架构大体可以分为几块内容。第一个是数据模型师。主要的工作是做好元数据管理，数据模型的开发以及建立统一的数据标准。第二个是数据开发员，它会对接产品，然后去做一些业务开发。第三个是业务人员，业务人员是运营、销售、市场人员，在这个地方做了很多数据可视化来帮助他们做出决策。最后是公司的数据分析部门，他们有很多对于审计包括公司一些非常核心的数据的分析需求，他们会通过独立的数据查询系统实现数据多维度分析。

下图是技术架构，在底层进行数据存储，抓取数据，并将存储层的数据传给处理层，在处理层完成业务计算，形成指标。然后前端通过帆软报表的应用，将数据以业务报表的方式进行图形化展示，并在移动报表APP上进行展示。

除去这个，我们还在管理上做了数据中心的建设规范。然后是数据质量管理，包括确保数据的准确性，为保证数据的及时性还建立了一个运行和管理规范。这四块结合起来以保证平台的平稳运行。

大数据可视化

数据可视化是这个平台最后的一步也是应用范围最广的一步。这方面，由于我们

1、需求来源多：团队需要同时对接财务部、销售中心、客服中心、管理层等各级部门，且各个部门关注的指标千差万别。
2、报表可视化方式多：需要通过明细表、汇总表、钻取表以及各类图表来分别满足各个部门的不同管理职级的需求，还要给给需求方提供离线报表、实时报表、邮件&短信推送数据等多种渠道。
3、自定义开发多：为了对接公司内部的业务系统，需要经常自定义开发。

所以，需要一个满足这些需求的可视化报表开发工具。这一块，无论从最初的传统数据仓库方式还是现在的大数据平台，我们都选择了帆软报表，作为一个成熟的产品，finereport很好的满足了我们的需求。