数据产品设计的3个方法论

xman

　　写这篇小文主要是因为这几年总是阴错阳差地与数据打着不大不小的交道，也是想总结一下自己对数据产品的一些思考和认识，看看自己是否真的适合在这条路上一直走下去。
　　何谓数据产品
　　按照惯例，第一次听说数据产品这个词，毫不犹豫的百度之，搜索出现了三个比较有意思的结果。其一是虎嗅网的老读悟发表的数据产品经理的前世今生，其二是  "最新招聘信息6136条_数据产品经理"，基本属于杭州某大型互联网公司，其三是innovate511的最新微博显示"做数据挖掘研究，如果做应用产品没有话语权，且要你承担结果是否上线产生价值的责任，那就别做，责任和权利要成正比，否则你将面对一次又一次被拒绝开发或被优先级不高拖延，最后被拖死"。

　　innovate511的最新微博
　　不知道这是不是印证了若不是找工作也不会跟数据产品结梁子呢，呵呵!言归正传，数据产品这个词目前看起来还是来自职位描述，至于什么叫数据产品，大约业界还没有定论。
　　姑且引用老读悟的定义"数据产品是可以发挥数据价值去辅助用户更优的做决策(甚至行动)的一种产品形式。它在用户的决策和行动过程中，可以充当信息的分析展示者和价值的使能者。从这个角度讲，搜索引擎、个性化推荐引擎显然也是数据产品。狭义范畴的数据产品，比如大家熟知的淘宝数据魔方、百度指数、电商的CRM平台、各种公司内部的数据决策支持系统等都是数据产品。"
　　搜索引擎、推荐引擎代表了当今数据挖掘领域最成功的商业案例，而魔方、指数、CRM等产品也是数据分析和决策的典型应用，因此老读悟的这个定义我还是相当认同的，或者更简单的说，凡是以数据价值驱动为核心的产品形式都是数据产品，说得更艺术一点，  the art of turning data into product 。
　　方法论
　　这里主要探讨一下，如何设计或者评价数据产品?也就是方法论的问题。说到数据产品，不能不提一下数据分析和数据挖掘。常碰到某牛人对着报表鄙视的说这叫数据分析，根本算不上数据挖掘，但是在我的理解里，数据分析其实也是数据挖掘，只是一种浅层次但是非常简洁有效的数据挖掘形式而已，因此后文不再使用数据分析这个词，而是围绕数据挖掘来思考数据产品的本质。
　　Data Mining  Techniques这本书里对数据挖掘的定义是：数据挖掘是一项探测大量数据以发现有意义的模式和规则的业务流程。"发现有意义的模式和规则"也就是我理解的价值驱动与业务目标，进一步的这些任务又可归纳为分类和预测、评估、关联规则、聚类、孤立点等，而为了解决上述任务所需要的方式方法则包括各种统计学模型、决策树、聚类算法、人工智能等等数学和计算机技术。
　　数据挖掘的方法论有很多种定义，有DMAIC模型，CRISP-DM模型，SEMMA模型等等，虽然细节不一，但是大体流程并无差异。我个人比较喜欢简洁的DMAIC模型，一个是因为Kaushik的经典Web  Analytics2.0里遵循的思想便是这个，更重要的是它引入了循环控制的理念，而不是简单的线性流程。DMAIC模型包括：
　　Define定义需求，即把业务问题转化为数据挖掘问题
　　Measure 测量数据，即理解、收集并加工数据，做好准备
　　Analyze 分析建模 ，即构建模型、评估模型的过程
　　Improve 解决问题，即部署模型来解决目标问题
　　Control反馈控制，即评估结果重新开始循环，不断改进

　　DMAIC模型
　　基于数据挖掘的方法论，回头来理清产品设计的方法论。通常对于互联网产品设计，比较一致的观点是用户体验要素里面的五层模型，战略层范围层结构层框架层表现层。我相信对于产品经理来说五层模型属于入门，但是对于不同类型的产品必然有不同的解读，比如SNS产品和电商产品的五层模型关注的问题肯定有差异，因此这里还是以淘宝魔方为例赘述一遍自己对于数据产品的五层模型理解。
　　战略层，用户需求和产品目标，比如淘宝魔方的目标用户是品牌卖家，那么它到底帮助品牌卖家用户解决什么问题?对于DMAIC来说，相当于解决Define的问题，即数据要实现什么价值。
　　范围层，功能规格和内容需要，比如淘宝魔方有哪些功能，这些功能有哪些指标，每个指标反应哪些问题?对于DMAIC来说，相当于解决Measure和Analyze的问题，即价值表现为哪些数据指标，这些指标的来龙去脉如何。
　　结构层，交互设计和产品架构，比如淘宝魔方的各种指标怎么分类组织，不同维度的相互关系如何?
　　框架层，界面设计和导航设计，比如流失顾客指标是使用图还是用表格?使用什么类型的图?数据筛选器和图表怎么布局?
　　表现层，视觉设计，比如子行业趋势图使用什么颜色分类?宝贝列表是否显示图片?上述三层，对于DMAIC来说，相当于解决Improve的问题，即数据以什么样的形式来展现其价值。
　　具体的产品设计过程中不断运用上述模型进行思考迭代，最终才成型完整的产品，对于DMAIC来说，这就是Control的内涵。
　　可以看到，数据挖掘和产品设计在方法论上是具有内在统一的，这就是我所理解的数据产品设计的方法论。

　　数据产品设计模型
　　具体来说，任何一款数据产品需要先思考这个产品的目标用户是谁，帮它解决什么问题，给它带来什么价值，也就是确定产品的业务目标。继续思考，为了实现业务目标，需要哪些数据指标?这些数据指标是怎么来的?这些指标如何反应解决问题的思路?当我们确定了数据指标后，从技术的角度讲就是数学建模的问题了，从产品的角度讲需要明确第三个环节，就是这些指标以怎么样的形式展示?如何更好的发挥它的价值?这就从抽象概念进化到具体的产品形式。数据产品的设计过程也就是基于上述三点进行不断的循环迭代的过程。
　　1. 业务目标
　　就数据产品来说，其主要价值应该是决策或者辅助决策，这就意味着数据产品往往和业务及运营密不可分。因此评价数据产品设计的原点是产品能否满足业务运营的关键需求，不论是理解、预测还是决策。不同业务的关键需求显然是不一样的，数据产品的目标用户和目标价值也必然存在差异，这就要求数据产品的设计去深入理解业务本身，游戏产品经理最好是一个资深玩家，同样，完美的数据产品经理即使不是一个业务专家，至少也是需要能够站在业务专家角度思考问题。
　　数据产品并不是千篇一律的图形报表，从业务目标出发我们可以很轻易的找到数据产品的灵魂。搜索时代的网站是以广告为核心盈利模式的，因此无数站长才会为点击流竞折腰，如何分析提升流量是网站运营的关键需求，因此以google  Analytics为代表的流量分析工具横空出世。电商网站本质是商品交易，其运营依然沿袭了传统零售业的玩法，比如活动营销，关联销售，会员提升，那么如何促进交易这个核心需求是不变的，所以有了量子恒道面向销售和客户分析的店铺经，有了辅助高级別卖家进行战略分析的淘宝数据魔方。
　　博客及SNS类产品又是一番情景，其运营核心变成了内容产生量和粉丝数，简单的流量分析不得不改弦易辙。游戏是强运营的产品，其核心是如何留住玩家如何提升道具购买，因此可以想象游戏类数据产品必然需要面向玩家的生命周期管理和道具交易。当进入移动互联网时代，为了适应新的设计和交互变革，为了解决渠道推广难题，我们可爱的数据产品又将多屏多系统分析、渠道分析发挥得淋漓尽致。而当智能硬件、可穿戴设备、物联网各种概念喧嚣时，如何从愈加广泛的数据中寻找产品的核心价值则成为了所有人共同的思考。
　　数据产品设计的业务目标决定了产品的方向，不能抓住业务问题的数据产品不是好的设计，而基本上可以想象当明确你要解决的业务问题越难时，产品目标用户的兴趣就越大，再接着才会觉得产品的价值越大。
　　2. 数据指标
　　当数据产品的业务目标确定以后，我们似乎就要开始数据挖掘游戏了!这个游戏的核心是将业务问题转化为数学问题，这些问题往往分为两类，一类是为了反应业务情况，我需要哪些数据指标，比如流量还是交易量;第二类是为了解决业务问题我需要使用哪些数学模型或算法，这些模型或者算法的解需要哪些数据指标来表达，比如商品关联推荐。当业务问题转化为数学问题以后，基本上就是数据分析员或者技术工程师们的舞台了，他们将一起来面对诸如选择合适数据、如何认识数据、创建模型集，构建模型，评估模型等等各种细节上的挑战。

　　数据产品设计的指标差异
　　稍加留意上述数据指标的变化规律，不难印证，数据指标能否适配业务目标是数据产品走向成功的关键的一环。
　　3. 价值展现
　　明确了数据产品的关键数据指标后，下一步便是如何展现数据的价值。总体上数据的价值体现在两方面，一是反应问题，二是解决问题，这也是分析类数据产品和决策类数据产品的核心区分，当然现实的产品往往处于这两者的过渡地带。
　　分析类产品的价值展现本质上来就是通过什么样的形式来表现数据，让使用者更加一目了然随心所欲的看到问题是什么。通常这类产品的设计需要使用数据筛选器来帮助用户看到不同维度不同类别不同时间的数据组合，同时使用图表的方式使得数据指标更加直观。
　　设计时往往需要遵循图表自身的交互属性，比如曲线图反应趋势，饼状图反应比例，频率图反应分布，而为了获得更加丰富的效果则可能需要进一步采用高级别的数据可视化技术。这些设计过程大部分属于产品设计的框架层和表现层，重在数据表现与用户的交互。而目前大部分数据产品皆止步于此，比如各种流量分析产品、指数工具、运营分析产品、数据魔方等等。
　　决策类产品的价值展现本质上来就是能够帮助用户解决问题，提供决策方案。比较典型的有推荐引擎，它能够直接展现关联商品提升销售额，而不需要目标用户亲自去分析商品类别、监控趋势、总结规律等。再比如电信业根据用户信息分析拟定资费套餐，银行业根据用户数据进行风险控制，这些产品的展现价值的方式也都在于直接的决策，而不是间接的数据图表。
　　再拿车联网产品来说，分析类产品就是通过OBD接口拿到数据后会使用很绚丽的交互来展现各种数据指标，而决策类产品会通过一定算法提醒用户你的油质不高，哪个地方坏了需要及时保养。再比如淘宝的江湖策，新增了无线店铺活动，通过精准数据直接为用户提供促销决策和通道，这显然是从单纯的分析产品向决策产品演进的典型案例。
　　毫无疑问，从用户需求的角度讲，决策类产品比分析类更理想更有吸引力，毕竟相当于省去了数据分析师和运营专家，可惜的是这样的产品往往有着现实的约束，即决策流程本身是否可以产品化。对于卖场来说，数据产品永远不可能去替代售货员的吆喝，那么产品设计所能够做的也只能是尽量靠近决策罢了。
　　可以说，数据产品的价值如何展现，如何从分析到决策，从知道问题到解决问题，这是数据产品设计最具有挑战的一环，也是最值得思考最艰难的一环。
　　数据产品的未来
　　数据产品设计遵循互联网产品设计的基本方法，同时兼具数据挖掘的方法论，从业务目标、数据指标、价值展现三个核心环节不断深入，循环迭代。但是正如前文微博提到的，当前数据产品设计的尴尬在于大部分仅能帮助用户理解问题而很难深入决策层面。一方面是由于当然是有数据产品团队缺少话语权造成的，但是更为主要的在于决策流程本身很难产品化。另一方面，数据产品设计面向决策的变化，从产品架构来讲也意味着设计模式发生根本变化，从单纯的依赖数据模型到数据模型、决策模型、方法模型三位一体的转变。

　　面向决策的数据产品设计
　　可以预见的是，在电子商务、互联网金融、虚拟运营商、可穿戴式设备这些决策本身可以产品化的领域，决策类数据产品将是舞台上的主角。
　　附：淘宝系解析
　　下面运用数据产品设计的三段式方法论分析一下淘宝系列的四款数据产品：量子恒道、数据魔方、江湖策、生意参谋淘宝版。一点浅薄之间，若是阿里的兄弟们看到了希望批评指正。
　　1.发展史
　　因为没有亲自接触淘宝的数据团队，只能从网上的一些资料大概整理了一下量子恒道、数据魔方、江湖策、生意参谋淘宝版四款产品的发展历史，可能会有不实之处忘谅解。量子恒道的前身是雅虎统计，上线于2007年7月，正好是雅虎中国更名中国雅虎业务体系大调整之后的两个月。初期雅虎统计主要方向还是网页流量分析，直到2009年1月上线店铺版开始面向淘宝系的电商深度分析，经过3年的发展于2012年4月彻底更名店铺经，并于当年6月上线手机淘宝后开始在无线端发力至今。
　　数据魔方于2009年8月开始组建团队，2010年4月专业版正式上线，2011年6月加入淘词功能，2012年10月新版上线，2013年5月BC数据分离并不断进行商品体系升级。江湖策相对较晚，2013年9月初版才上线，似乎为了双十一而生，很快于2014年1月推出主打"无线渠道透视"的流量优化功能。生意参谋老版可追溯到1688的1.0版，淘宝新版是  2013年11月上线的，基本上与江湖策同步。

　　淘宝系数据产品简史
　　从发展史来看，量子恒道和数据魔方可算作淘宝系的数据产品1.0，而江湖策和生意参谋可称作数据产品2.0，而且比较明显的是无线端渐成主流。
　　2.业务目标
　　按照本文阐述的数据产品设计方法论，淘宝系的四款数据产品分别有着怎样的业务目标呢?量子恒道在雅虎时代可以说是标准的流量统计工具，和google  Analytics以及百度统计基本上同台竞争，直到2009年面相转向电商分析，尤其是淘宝店铺的数据分析，而后仅仅是增加了手机端渠道而已。因此，量子恒道的业务目标依然是帮助电商了解自己的业务，展示分析流量、来源、成交、转化等多个视角的数据，简单归纳为以流量分析为主的"电商分析"。
　　数据魔方早期设计的定位其实并不明确，既有行业品牌分析，又过多的介入买家卖家分析，直至新版上线后明确定位为"行业品牌分析"，虽然有淘词这种吸用户的实用功能(个人感觉这个功能有点鸡肋)，但是总体来说数据魔方还是以帮助卖家解决战略问题作为业务目标的。江湖策就业务目标来说跟量子恒道比较类似，都是基于流量的数据产品，但不同之处在于它不仅帮助电商了解自己的业务，更重要的是优化店铺流量，提升转化率。生意参谋的设计目标目前看起来则相对更具体一些，它集中在店铺装修，帮助商家分析店内各页面的视觉问题、评估装修效果、引导优化。
　　3.数据指标
　　从业务目标的角度推断，  量子恒道、江湖策、生意参谋应该在数据指标上与数据魔方有较大差异，同时江湖策、生意参谋相对量子恒道来说应该更加细分。下表是我从四个数据产品选取的主推数据指标以及部分关键细分页面的数据指标。

　　淘宝系数据产品指标对比
　　可以发现，数据魔方偏重于行业指标，其他三款数据产品则选择了最为典型的浏览量、访客数、成交金额、成交转化率、客单价、成交用户数等。此外，江湖策的方向是流量的细分管理和优化，对于流量路径较关注，因此引入了与路径有关的拍下金额、拍下件数等数据指标，而生意参谋主打店铺装修，因此突出页面的点击次数和点击转化率也就不足为怪了。
　　到目前为止，可以说这四款产品对于各自的定位和数据指标的把握都是非常精准的，如果熟悉熟悉游戏运营或者网页分析产品的话，只要做个简单对比就可以深刻体会到淘宝系数据产品有着深入骨髓的电商基因。
　　4.价值展现
　　前文提到，价值展现这个纬度从产品设计的角度将包括了结构层、框架层、表现层，四款产品在基础交互视觉方面的差异一目了然，在此不作展开。下面更多的是从价值展现的两个方面加以阐述，即反应问题和解决问题。
　　数据魔方是一款纯血的数据分析类产品，因此采用了大量的图表来展示各种数据，客观的反应了行业品牌等宏观问题。它能解决问题吗?显然不能，还是需要运营专家去解读数据做出自己的决策。量子恒道在这个问题上和数据魔方其实比较相似，虽然在"健康日报"子功能上引入行业指标做参考，但是可惜没有进一步的突破决，总体上能够全面优质的反应问题，但并未介入用户决策流程。这也就是我称之为数据产品1.0的原因。
　　那么江湖策、生意参谋这两款数据产品2.0又有什么差别呢?  仔细研究可以发现，生意参谋其实大部分的功能还是在反应问题，告诉你数据指标、指标变化等等，所不同的是  "宝贝温度计"这个小功能。"宝贝温度计"引入一个决策标准"建议数"，提醒用户"待优化"，同时引导用户直接修改标题，这个功能看起来简单，但是如果我们分析这里面的内在逻辑的话，这个步骤包含了决策标准、决策方案、决策行动三个核心要素，有了这三个要素，本质上用户就可以直接解决问题了。统计了一下淘宝论坛里对于生意参谋的反馈，"宝贝温度计"是称赞最多的，这也侧面印证了用户对于解决问题的渴望。

　　生意参谋-宝贝温度计
　　江湖策显然想在解决问题这个层次上走得更远。除了提供常规的PC端、无线端流量数据透视功能，以及聚划算、无线活动效果检测等实用功能，目前来看有几个亮点是非常值得肯定的。
　　实时直播。这个功能是分析流量路径的，虽然其也是停留在反应问题这个层次，但是它的创新在于深入了业务流程而不仅仅是停留在数据报表，或者说它将数据细分到了具体的业务层面，这样用户可以更加直接的做出行动决策而不用去盯着数据思考背后的问题。
　　流量发现。主要包括潜在买家和推荐渠道，其实前者就是买家信息分析，这个本质并没有什么创新，而推荐渠道也仅仅是简单集成了各种引流工具的入口。但是考虑这是一个新成品，因此大胆预测后续改版中江湖策应该对"推荐"这个词做更为丰富的演绎，比如在分析不同流量渠道或者不同页面时更具一定的标准(比如行业排名、历史水平)等自己关联这些引流入口，直接告诉用户介于目前的数据分析你哪个指标低于行业50%水平，应该优化，请点击等等(是不是有点像360^_^)。

　　江湖策-无线效果优化
　　此外，无线效果优化、无线店铺活动等功能我们也依稀可以看到上述影子，都提供了直接或间接的解决问题的路径，可惜的是都是单独的菜单入口，并未和流量分析等功能进行深度融合，这也说明当前版本还没有建立一套完整的决策模型和方法模型，导致在解决问题这个层次上还无法深入，期望后续的版本能够给大家惊喜，我想这也是当初起名"江湖-策"的缘由吧，期待其在"策"字上的表演。
　　5.演进方向
　　一句话，未来的数据产品设计应该尝试建立完整的决策模型和执行路径，突破图表反应数据价值的局限，尽量介入决策环节，朝着解决问题前进，这就是我心目中的数据产品2.0。