大数据是风口，但是该怎么规划架构？一般人都没注意到
01 分析需求
挖掘真实需求
俗话说，良好的开始是成功的一半。很多大数据产品之所以失败，归根到底就是出发点不对，没有找准真需求，无法推动解决实际问题。流于表面的数据产品，是对时间和人力资源的浪费。
那么，如何对问题进行分析，挖掘真实需求呢？
从模糊的需求中挖掘本质，找出真需求，就是需求分析的内容了。
需求分析的第一步是对客户基本资料和现状的解读，从现状出发了解客户对现状的不满和遇到的困难。除了培养同理心之外，这里提供两种简单有效的方法，第一个是花些时间收集客户内部需求干系人对现状的吐槽，找出其中的共性和最不满的点；第二个是询问客户对现有的各类解决方案的点评和意见，了解其关注点。
“诊”完了客户的现状，下一步就是配”药”了。人们常犯的第一个错误就是功能堆砌，什么都有什么都能做。第二个错误就是抄袭复刻，把别人的解决方案原封不动照搬过来，没有特点。第三个错误是为了让产品显得高端而强行捆绑一些不成熟的前沿技术，没有考虑实用性和性价比。
在大数据项目中，原子级能力的强弱大同小异，解决方案的好坏关键在于场景渗透能力、技术整合能力和可持续升级能力。所谓”对症下药”，就是要以点带面，在客户最关注的一点上做深做透，细节上考虑得更多，在完成度上更上一层楼。
减法思维，以点带面
前面提到了我们应该在核心功能上做深做透，用到的是便是减法思维。
减法思维是指合理地减少一些不必要、与现状不匹配的事情来提高效率的一种思维。从概念可以看出来，减法思维的的关键点在于减少不必要、与现状不匹配的事情来实现高效，也就是说，如果你要做减法，你需要先识别出哪些事情是不必要并与现状不匹配的，并能在减掉这些事情之后能够提高效率。
02 数据盘点
准备数据需
传统IT行业的需求点多是固定的业务逻辑，但大数据产品则更多的依赖数据，它的价值上限取决于数据自身的价值上限，正如那句经典的名言，”garbage in garbage out”。正因为如此，设计大数据产品需要尽早准备数据需求。
数据需求文档DRD（Data Raquirements Document）顾名思义同PRD一样，是同研发团队沟通的一种凭据。主要包括了三部分：Source（来源）、Measures（指标）、Dimensions（维度）。
来源：就是指数据从何而来。来自哪个系统？使用何种数据接口？数据更新频率如何？
指标：顾名思义，讲指标的定义和计算逻辑。
维度：是用户用于查看指标的数据元素。描述了数据需要以何种力度被组织起来。
从产物角度看，DRD需要产出的有数据流图和数据字典，两者相辅相成。没有数据字典准确地描述数据流图中使用的数据，数据流图就不严格。反之，没有数据流图，数据字典也难于发挥作用。
数据流：是由一组固定成分的数据组成，表示数据的流向。值得注意的是，数据流图中描述的是数据流，而不是控制流。除了流向数据存储或从数据存储流出的数据不必命名外，每个数据流必须要有一个合适的名字，以反映该数据流的含义。
数据存储：数据存储表示暂时存储的数据。每个数据存储都有一个名字。
【拓展】数据字典
任何字典最重要的用途都是供人查询对不了解的条目的解释，在结构化分析中，数据字典的作用是给数据流图上每个成分加以定义和说明。换句话说，数据流图上所有的成分的定义和解释的文字集合就是数据字典。
收集数据
收集数据主要可以分为外部数据和内部数据两类。
内部数据是由组织内部的业务流程和运营过程中生成的数据。这些业务流程可以生成特定于该组织运营的大量数据，例如客户购买数据、商品物流数据、评价数据等。除了显式反馈数据的收集外，互联网行业的一大特色是拥有大量的隐式反馈数据，例如通过埋点形式收集用户的行为数据。
除了内部数据之外，我们还会接触到很多外部数据，外部数据就是是在组织运营范围之外生成的数据。外部数据一般是企业所处的外部环境相关的数据，包括诸如全球经济指数，人口普查信息和行业价格之类的信息等等。所有这些数据均一直存在，与任何特定组织无关。
一般而言，价值创收目前主要都来自于对内部数据的挖掘，但外部数据的价值也不容小觑。假如一家创业公司刚刚起步，自身并没有还积累数据，怎么办？就算有数据，但拥有的数据无论在“质”和“量”上都很差，怎么办？或者说，从内部数据上发现了某指标的变动，但对于其真实动因无法准确判定，怎么办？这时候就需要外部数据的帮助了。
想要获取外部数据，除了前面提到的可以从公开的数据网站上查询外，另一大方法就是爬虫。这种方法更加灵活，但是需要注意法律风险。
03 数据源管理
数据源分类
完成数据盘点后，我们知道了现在有哪些数据，接下来就是给它们划分业务领域，也就是类别。
对于小规模的业务来说，数据源归类的作用并不明显，但是当数据表多达几百上千个，而且功能有重叠冗余、有新有旧的时候，数据源归类就相当重要了。
业务领域囊括的范围可大可小，完全依托于前期基于业务的梳理结果。
值得一提的是，数据（中台）全景图是一个执行数据归类的很好的工具，便于数据查找。
数据源分级
不同于数据分类，数据源分级更多的是从满足监管要求的角度出发。数据分级属于数据安全领域，或许称呼它为敏感等级更为贴切。有的数据密集程度高，有的低，有的可公开，有的不可公开，不同敏感度等级的数据对外共享开放的程度不同。
04 数据资产管理与数据资产管理平台
数据资产与数据资产管理
数据资产管理平台的作用和价值
数据资产管理平台是对企业数据盘点、数据管控等能力的承载和表现，它可以对全网数据资产进行统计、对数据权限进行细粒度的梳理、对数据使用状况进行分析，大大降低管理人员工作量，同时为数据安全制度的建设提供依据。
数据资产管理平台的主要功能
目前主流的软件——FineDataLink，它小到数据库对接、API对接、行列转换、参数设置，大到任务调度、运维监控、实时数据同步、数据服务API分享，应有尽有，功能很强大。最重要的是，因为这个工具，整个公司的数据架构都可以变得规范。而且它是java编写的，类流程图式的ETL开发模式，上手都很简单：数据对接、任务复用简直都是小case，大大降低了数据开发的门槛。在企业中被关注最多的任务运维，FineDataLink大运维平台，支持文件夹式开发模式，报错任务可一键直达修改，报错优化清晰易懂；通过权限控制，保障系统安全。
立即沟通
