如何收集大数据
现在谈论大数据已经没有新意了，形形色色的产品、平台和公司都贴满大数据标签，但大数据却并没有掀起预期飓风，甚至还被冠以“伪命题”污名。
本末倒置，数据采集才是大数据产业的基石。都在说大数据应用、大数据价值挖掘，却不想，没有数据何来应用、价值一说。就好比不开采石油，一味想得到汽油。当然，石油开采并不容易，各行各业包括政府部门的信息化建设都是封闭式进行，海量数据被封在不同软件系统，数据源多种多样，数据量大、更新快。
（01）一、软件接口方式各个软件厂商提供数据接口，实现数据采集汇聚。实现过程：· 协调多方软件厂商工程师到场，了解所有系统业务流程以及数据库相关的表结构设计等，细节推敲，确定可行性方案；· 编码· 测试、调试阶段· 交付使用接口对接方式的数据可靠性与价值较高，一般不存在数据重复的情况；数据通过接口实时传输，满足数据实时性的要求。接口对接方式的缺点是接口开发费用高；协调各个软件厂商，协调难度大、投入人力大；扩展性不高，如：由于业务需要各软件系统开发出新的业务模块，其和大数据平台之间的数据接口也需做相应修改和变动，甚至要推翻以前的所有数据接口编码，工作量大、耗时长。
（02）二、开放数据库方式实现数据的采集汇聚，开放数据库是最直接的一种方式。两个系统分别有各自的数据库，同类型的数据库之间是比较方便的：1. 如果两个数据库在同一个服务器上，只要用户名设置的没有问题，就可以直接相互访问，需要在from后将其数据库名称及表的架构所有者带上即可。select * from e12. 如果两个系统的数据库不在一个服务器上，建议采用链接服务器的形式处理，或者使用openset和opendatasource的方式，这个需要对数据库的访问进行外围服务器的配置。而不同类型的数据库之间的连接就比较麻烦，需要做很多设置才能生效，这里不做详细说明。开放数据库方式可以直接从目标数据库中获取需要的数据，准确性高，实时性也能得到保证，是最直接、便捷的一种方式。但开放数据库方式也需要协调各个软件厂商开放数据库，难度大；一个平台如果同时连接多个软件厂商的数据库，并实时获取数据，这对平台性能也是巨大挑战。不过，出于安全性考虑，软件厂商一般不会开放自己的数据库。
（03）三、基于底层数据交换的数据直接采集方式通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，基于底层IO请求与网络分析等技术，采集目标软件产生的所有数据，将数据转换与重新结构化，输出到新的数据库，供软件系统调用。技术特点如下：1. 无需原软件厂商配合；2. 实时数据采集，数据端到端的响应速度达秒级；3. 兼容性强，可采集汇聚Windows平台各种软件系统数据；4. 输出结构化数据，作为数据挖掘、大数据分析应用的基础；5. 自动建立数据间关联，实施周期短、简单高效；6. 支持自动导入历史数据，通过I/O人工智能自动将数据写入目标软件；7. 配置简单、实施周期短。基于底层数据交换的数据直接采集方式，摆脱对软件厂商的依赖，不需要软件厂商配合，不仅需要投入大量的时间、精力与资金，不用担心系统开发团队解体、源代码丢失等原因导致系统数据采集成死局。直接从各式各样的软件系统中开采数据，源源不断获取精准、实时的数据，自动建立数据关联，输出利用率极高的结构化数据，让不同系统的数据源有序、安全、可控的联动流通，提供决策支持、提高运营效率、产生经济价值。
（01）1、公开信息及整理比如统计局的数据、公司自己发布的年报、其他市场机构的研究报告、或者根据公开的零散信息整理;
（02）2、购买的数据库市场上有很多产品化的数据库，比如Bloomberg、OneSource、Wind等等，这个一般是以公司的名义买入口，不光咨询公司还有很多高等院校及研究机构也买了;
（03）3、自己的数据库自己维护的数据库有，但是比较少，一是专业的数据公司差不多能想到的都做了，二是自己做数据库其实是一件很麻烦的事情。在有些数据是外界无法得到的情况下有可能自己维护一个小型的数据库;
（04）4、咨询行业专家当然是有偿的，这个在项目中应该蛮常见的。有些行业专家会专门收集和销售数据，想要的基本能买到。
（05）5、发问卷有时候为了单独的项目也会收集很特别的数据，如果外界实在没有但是项目上没有不行就只有自己做了，比如自己发发问卷之类的，但是这类数据需求要控制工作量，因为除非数据本身是交付内容之一，要不然不能为了个中间件花费太多时间和精力;
（06）6、客户有些数据就是来源于客户，甚至是咨询公司的产品。举个例子，比如HR咨询公司的行业工资数据、四大的一些数据库等等，这些数据的采集需要比较强的专业性或者时间积累，很大一部分是通过调查客户的HR收集来的数据进行统计的。
