大数据如何起步?从小数据到大数据 - 开发者俱乐部

目前国内外关于大数据的谈论很多，大多是谈运营级别的，或者说从服务端、服务方提得较多一些。笔者要跟大家交流的问题是作为各类企业尤其是客户方的企业来说，大数据跟他们有什么关系，或者说作为企业方怎样去参与，这是企业方现在面临的最大问题。

这个问题的答案重点在于大数据应该从小数据开始。因为现在很多企业面临的最大问题不是怎么用大数据，而是内部的一些小数据整合出现问题，或者小数据都没用好的情况下怎么用大数据。大数据应该是从小数据逐渐演变上去的，是一个正常的生态，而不是瞬间变化的。大数据这个概念跟自媒体的概念类似，需要企业自己去建设，而不是从一开始就想着依靠别人。很多企业在谈自媒体的时候，像谈别人的事情一样。比如一谈自媒体，就觉得那是第三方提供的一个平台，大家在那儿发发牢骚。自媒体是自己的媒体，企业自己也要参与进去。同样大数据不是别人的大数据，我们假设有一个第三方提供了大量的数据，有很多很多信息，CI、BI之类的很多模块化东西供我们来用。如果这样的话，你有，竞争对手也有，你能得到的东西，竞争对手也能得到的情况下，就不能称之为核心竞争力。大数据作为企业来说要变成自身的一个竞争力，企业必须得建立自己的企业级的数据。

要做大数据，首先要了解自己的企业，或者自己所在的行业的核心是什么。我们现在经常发现，有很多企业在竞争的过程中，最终不是被现在的竞争对手打败，而是被很多不是你的竞争对手所打败。很简单的一个例子，大家都认为亚马逊是做电商的，但这是错的,它现在最主要的收入来自于云(云服务)。也就是说企业需要找到自己的核心数据(价值)，这个是最关键的。只有在这个基础上，建立自己的大数据才有可能，才能做一些延伸。其次，要找到内部的一些外围相关数据，去慢慢地成长它。有点像滚雪球，第一层是核心，第二层是外围相关的数据。第三层是什么?就是外部机构的一些结构化数据。第四层是社会化的，以及各种现在所谓的非结构化的数据。这几层要一层一层地找到它，而且要找到与自己相关的有价值的东西。这样你的大数据才能建立起来。

第一步，找到核心数据。核心数据现在对很多企业来说实际上就是CRM，自己的用户系统，这是最重要的。

第二步，外围数据。比如企业经常会在线上线下举办一些活动，在做活动的时候，消费者的信息只是简单地提供在表单里面，还是进入了CRM的系统里?

第三步，常规渠道的数据。举例来说一个销售快销品的企业，能不能够得到沃尔玛的数据，家乐福的数据?很多国外大数据的案例，说消费者买啤酒的时候也会购买剃须刀之类，或者一个母婴产品的消费者她今天在买这个产品，预示着她后面必然会买另一个产品。这就有一个前期的挖掘。

这些价值怎么来的，这就需要企业去找常规渠道里面的数据，跟自己的CRM结合起来，才能为自己下一步做市场营销、做推广、产品创新等建立基础。第四步，外部的社会化的或者非结构化的数据，即现在所谓的社会化媒体数据。这方面信息的主要特征是非结构化，而且非常庞大。这对企业来说最大的价值是什么?当你的用户在社会化媒体上发言的时候，你有没有跟他建立联系?这里有个概念叫做DC(digital connection)。

所谓的互联网实际就是一种DC，但是通常互联网上的那种DC是在娱乐层面。用到商业里面的话，就是企业必须得跟消费者建立这种DC关系，它的价值才能发挥出来。否则，你的数据以及很多的CRM数据都是死的。就像国外CRM之父Paul Greenberg写的四本CRM相关书籍，前面三本都是在讲数据库、系统之类的。第四本书的时候，就没有再讲那些东西，讲什么?讲互动，讲DC，讲怎么跟消费者建立关系。

有了这个数据库去进行数据挖掘，或者在建立数据的过程中，企业需要从什么方向去探索，也不是漫无目的的。首先应该跟着你的业务，业务现在有哪些问题，或者说这个行业里面主要的竞争点在哪里，这是很关键的。有了这个业务关系以后，再形成假设，也就是说未来的竞争点可能在哪里，大到未来的战略竞争，小到哪些方面。然后下一步要怎么做，这些形成一个假设，其次做一些小样本的测试。很多企业一看大数据就很恐怖，说我也买不起那些大数据，也雇不起那么专业的团队，怎么办?自己做一些小样本的测试，甚至通过电子表格Excel都可以做数据挖掘。不一定非要那么庞大、那么贵的数据。然后再做大样本的验证，验证出来的结果就可以应用到现实中去。

在大数据尤其是互联网时代还有一个最重要的点，就是失效预警。即你发现一个规律，在现实中应用了，但是你一定要设立一些预警指标。就是当指标达到什么程度的时候，之前发现的规律失效，那你就必须发现新的、相关的，否则也会造成一种浪费。笔者看到一篇文章，其中有一个重要结论。大家都在说大数据的价值很有用的时候，很多企业说我积累了多少TB，多少PB，但是你基于老的数据得出的很多结论实际是在浪费你的资源。你挖掘出来很多数据、很多规律，如果错了，明天按这个去做，就是浪费。因此需要有一个失效预警。在这样的过程中，最终你需要对应建立起内部团队，他们对数据的敏感度也才能培养起来。这时候你再去买大数据服务的时候才是有价值的。

所有这些工作作为企业来说是需要内部去做的，最终才能开花结果，有一些收获。企业大数据起步，要从小数据开始。

注1：关于数据挖掘过程中是直接上来就大数据、全数据，还是可以从一些小数据、小样本入手，这方面目前存在一些争论。本文为复旦大学主办的“大数据与营销传播”高峰论坛的演讲稿整理，仅代表作者观点，供参考。