大数据应该成为一种基本的使用和操作能力

xman

“大数据”之“大”，不仅仅源于其体量的庞大，更表现在它的无处不在。数据充斥在我们生产生活的方方面面，从大数据分析中获得竞争优势，已不再是所谓的高精尖企业或是高大上的科研项目的专利。它与劳动力、资本一样，开始为企业提供重要的生产因素。

       你承认吗?我们正生活在逐渐被大数据掌控的时代。我们在论坛里评论发帖，我们在社交平台晒照片，我们在网购后对产品留下评价……


       这些被传上网络的照片、视频、文字都作为数据储存起来，原本纷繁无序的数字变得规律而有意义。数据不仅仅是对客观世界的记录，更携带着无数隐含信息的数字信号，其中就包括着我们的需求和喜好。

大数据重构消费者主权

       “大数据”之“大”，不仅仅源于其体量的庞大，更表现在它的无处不在。数据充斥在我们生产生活的方方面面，从大数据分析中获得竞争优势，已不再是所谓的高精尖企业或是高大上的科研项目的专利。它与劳动力、资本一样，开始为企业提供重要的生产因素。


       我们会有一套技术和方法，比如我们熟悉的Hadoop，这里面包括数据采集存储，如何分析挖掘，如何产生一些有意义的信息或者支持等等。我们通过数据化的手段构建成数据世界，这个数据世界很好的反映或者模拟了现实世界。在这个数据世界之上，我们再构建自己的业务系统，这些业务系统通过数据世界能了解到现实是怎么样，从而变的更加智能化，在这场数字革命的背景下，消费者的数据就是一切。对于企业来说，如何通过消费者数据化完成“以产品为中心”到“以客户为中心来”的转变，进而驱动核心产品的运营是最核心的事情。


       作为概念，这很容易理解。然而在信息高度碎片化、信息渠道高度碎片化、和信息消费者对外部事物兴趣高度碎片化的数字世界中找到对的人，并不那么容易。


信息化的五大趋势：云大物移社

       在整个信息化的方向上，百分点技术副总裁刘译璟提到五个大的趋势：云计算、大数据、物联网、社会化跟移动化。


       云是信息化未来的一大趋势。未来所有的信息系统都在云上，因为我们更加关注运用而不关注这些底层的资源，和这些基础的服务从哪里来。放到云上去。


       物联网技术是在数据世界跟现实之间的边界。物联网中的Sensor等设备将现实世界转化到数据世界，把现实世界中各种基本的实体、行为转化成数据来形成数据世界。


       大数据是这个数据世界中的大脑。这颗大脑将大量数据进行收集加工，转化成信息，甚至转化成知识，最后再通过物联网的技术反馈到现实世界中。这个过程是周而复始持续不断的，使得大数据这颗大脑越来越了解现实世界，越来越智能。


       整个现实世界和数据世界不断的通过这几种技术交互，大数据在里面是处于一个核心的加工地位，他把数据转化成中心和知识，不断的产生更多的价值。


       移动化是一种资源分配的策略，特别是零散的、碎片化资源的分配。移动化没有带来革命性的技术，但带来了革命性的应用。移动时代到来后，人们更深入的与数据世界对接，拓宽了个人的边界，也使得不同的能更加深度连接在一起。比如用滴滴打车，出租车司机能在接单或者开车的过程中决定接下来要干什么，把自己的零碎的时间更好地利用起来，甚至实现划零为整。相反的，我们也可以看到并不是所有的应用都适合移动化，例如程序开发或者财务审计，这些工作需要大块专注的时间和精力，无法利用零碎的资源完成。


       社会化意味者广泛的连接。但另一方面，人以群分物以类聚，社会化也决定了信息技术必须深入到垂直的行业应用才能充分发挥价值。因此，我们可以预见未来一定会形成多个垂直领域的“云大物移”，每个云内部将深度共享数据和信息，而云间则只进行适度的数据和信息交互。

       简单总结来讲，在未来的信息社会中，云计算是骨骼，物联网是整个信息里的感官，大数据是大脑，移动化是策略，社会化是最终的灵魂。


企业应用大数据的必备条件

       一个企业或者一个组织如果想真的应用大数据的话，必须具备哪些条件呢?刘译璟将其归纳为以下几个方面：


相关的时代必须要到来

       在高喊DT时代已经到来的同时，我们看到的事实是很多企业连信息化的门槛都没迈过。譬如很多的企业没有CRM系统，所有的会员管理还是依靠一些小本本，根本谈不上数据化。或者很多企业只有本地化的一些系统，还没有进入到互联网的时代，数据化程度很低，在这种前提下，谈大数据是没有什么意义的。


明确大数据的价值理念

       今天，很多企业主在讲数据是核心资产，大数据很重要。但他们之所以这么说，原因是他认为数据只有花钱才能得来，而不是看到自己的经营过程有很多数据，可以做出数据化运营。这样的情况下，说到底他并不清楚数据能对他的业务产生核心的变化。
       什么叫做理念?就是不要用大数据做形象工程，而是相信数据能够给业务创造价值，一定会用到业务里。当消费者跑到你的阵地上，一方面，你要尽可能把阵地上消费者最满意的信息给到他，另一方面也要找到对你的产品感兴趣的人，然后再基于数据分析整个过程。
       哪怕一开始确实效果非常不好，甚至比以前可能下降，但是企业相信通过不断的优化不断的反馈提高效率。大数据就是一颗大脑，这个大脑一开始是一片白纸什么，都不知道，我们只有通过一轮一轮的循环才能让他真正变得更加智能。

图：大数据时代大事记

       大数据要驱动智能化的业务系统，因此其中最核心的是人工智能相关的技术和应用知识是紧密相关的，包括自然语言理解、知识表示、自动求解和决策、机器学习，以及与此密切相关的图象语音识别、智能Agent等技术。为了支持这些技术和应用，我们对数据存储和计算的要求超出了以往任何时候，这就必须要有类似Hadoop的分布式存储和计算技术。Hadoop的诞生，原因就搜索引擎的驱动;Spark的诞生，也是来自于机器学习算法的要求。


将业务转化成数据的能力

       从数据技术到大数据平台，大数据技术的发展一定是跟着业务或者跟着智能化的技术发展的。其实，从企业的现实业务到真正构建数据模型，中间有非常大的鸿沟。这个鸿沟包括数据如何采集、如何建模、以及如何把一个业务问题转化成真正的数据的问题。这其实是需要有具备深厚的理论和经验的人来才能完成的，是大数据落地中最具有挑战性的一环。如果不能将一个实际问题转化为数据和数学模型，那就没有任何技术手段来实现它，更无法落地实践。


大数据应该成为一种基本的使用和操作能力

       大数据为商业企业全面、深刻认识消费者行为和市场需求提供了新的方式和视角。运用大数据分析消费者行为，并基于分析结果，采取合适的商业模式，是未来商业发展的一种趋势，也是大数据在商业领域的重要应用。


       百分点高级研发总刘国栋描述到，他们对大数据有一个理想，就是希望未来每一个普通的人都具备大数据的使用能力和操作能力，每一个人都能够随时随地利用大数据的能力解决自己的问题。于是，他们在过去六七年的时间里都致力于研发一款可以填平大数据技术与企业应用之间鸿沟的产品——大数据操作系统(BD-OS)。

图：百分点BD-OS核心

       作为计算机的操作系统，Windows系统让人和机器更容易更快更便捷的交互，并把机器的高性能和处理复杂问题的能力赋予人类。大数据整个发展过程也是这样的。BD-OS致力于解决人和大数据交互的问题，帮助人更轻松的挖掘和管理数据。在大数据操作系统这个层面，百分点做的第一件事就是将底层技术标准化，基于标准化提取出了一系列的解决方案和接口，基于解决方案和接口建立起了一个完整的、可持续的中间交互层，这个中间交互层的具体落地，可以通过交互层，通过不同的维度使用管理和深入探索挖掘大数据，用户不用关心底下具体的某种技术和某种问题，基本上用户感觉不到是在跟Hadoop交互，或者跟Spark交互。对于用户来讲，在这个环境里工作根本感觉不到自己在使用特别复杂特别庞大的数据，或者特别复杂的技术。

图：BD-OS内置标准化处理模板

       刘国栋这样比喻，如果将Hadoop、Spark视作一粒一粒的珍珠，那么BD-OS就是一条线，将那些最亮最圆的东西串起来，而不会随便挑一个技术放到整个BD-OS里面去。


更好的方法和答案还在不久的未来

       就像舍恩伯格在《大数据时代》的结语中所道：“大数据并不是一个充斥着算法和机器的冰冷世界，人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案，只是参考答案，帮助是暂时的，而更好的方法和答案还在不久的未来。”