你应该知道的大数据领域12大动向

xman

　　

　　最近这几周大数据领域可谓动作频频，初创公司和老牌企业都纷纷发布新品，更新或改进现有的产品系列，以及达成战略性关系。
　　行业观察人士表示，许多企业拿来试点阶段的大数据系统(尤其是那些整合Hadoop平台的系统)后，将它们部署到更广泛的生产环境。本文介绍的新闻主要旨在帮助公司进行这种转型。
　　下面看一下引起我们关注的12则与大数据有关的动向。其中许多来自近日在加州圣何塞召开的2016年Hadoop峰会。
　　Actian发布VectorH 5.0数据库

　　Actian首席营销官托尼卡瓦诺(Tony Kavanaugh，图左)与Actian合作伙伴销售副总裁戴夫休格曼(Dave  Sugarman)在近期召开的2016年Hadoop峰会上交谈。
　　Actian本周发布了Actian Vector in Hadoop(VectorH)5.0，这是该公司现已与Apache  Spark集成起来的SQL-in-Hadoop数据库的新版本。
　　与Spark集成起来后，就可以获取来自不同数据源、采用不同格式的数据，让开发人员得以利用VectorH，构建高性能数据流、ETL和机器学习等应用程序。随着企业组织将Hadoop分析系统迁移到生产环境，这类功能至关重要。
　　Actian还大肆宣传VectorH的更高性能，声称性能比像Apache Hive、Cloudera Impala、Apache Spark  SQL和Apache HAWQ这些与之竞争的技术更胜一筹，并援引了TPC-H查询基准测试方面的结果。
　　Hortonworks经销AtScale的BI-on-Hadoop软件

　　AtScale开发AtScale智能平台，这让常用的业务分析工具得以访问存储在Hadoop集群里面的数据。
　　在Hadoop峰会上，Hadoop软件开发商Hortonworks表示，从今年第三季度开始，它将经销AtScale的软件，作为其围绕Hortonworks数据平台的套装软件解决方案的一部分。
　　AtScale首席执行官戴夫马里安尼(Dave  Mariani)表示，考虑到Hortonworks的市场地位，这种关系将为AtScale提供一条重要的软件销售渠道。他告诉CRN："我们认为，这方面大有潜力带来新业务。"
Attunity发布Visibility For Hadoop系统

　　Attunity是一家大数据管理软件开发商，它发布了最新版本的Visibility for  Hadoop系统，可帮助管理员回答诸如此类的问题：谁在访问Hadoop数据，他们在如何使用数据，以及在此过程中使用了哪些种类的IT资源。那些答案对于在基于Hadoop的数据湖生产环境里面管理数据增长和工作负载性能来说至关重要。
　　新版本提供了更全面的分析功能，可帮助企业组织衡量Hadoop数据和存储使用情况，用于更准确的容量规划、优化成本效益，并满足数据治理和合规要求。新功能支持Hadoop文件系统的存储级别，还支持众多Hadoop数据处理引擎，包括MapReduce、Tez、Hive和Cloudera  Impala。
　　Dataguise DgSecure 6.0

　　Dataguise发布了新版本的DgSecure软件，这个软件是以数据为中心的安全平台，数据经理和首席信息安全官可以使用该平台，管理传统关系数据库和大数据平台中的敏感数据。
　　DgSecure  6.0与一系列广泛的数据平台和数据源兼容，并支持本地系统和云系统中的结构化数据、半结构化数据和非结构化数据。它提供了数据检测、保护和监控功能，用于数据治理。它还与一系列更广泛的IT和数据管理框架兼容。
　　新版本还使用内置模板和自定义模板，简化了制定数据治理策略的工作。
　　Hortonworks发布HDP 2.5预览版

　　Hortonworks将在今年第三季度发布旗舰Hortonworks数据平台软件的下一个版本，符合该公司在今年初承诺这款基于Apache  Hadoop的软件遵守的"快速发布"时间表。
　　HDP 2.5通过分别支持Apache Ranger和Apche Atlas，增添了该系统的安全功能和治理功能。另外得到支持的还有Apache  Zeppelin，这种基于Web的笔记本用于使用SQL、Scala、Python及其他开发语言，创建交互式分析文档。HDP 2.5还与最新版本的Apache  Ambari集成起来，用于规划、安装和配置Hadoop系统。
　　Hortonworks还发布了增强版的Partnerworks合作伙伴计划，添加了一些项目，旨在招募托管服务提供商，并服务于独立软件开发商和独立硬件厂商合作伙伴。
　　Koverse 2.0加快数据湖的实施

　　初创公司Koverse提供一种"一体化数据湖"平台;该公司表示，相比目前的技术和方法，有了该平台，就可以大大加快收集大数据、部署到生产环境的速度，并降低成本。
　　该公司创办于2012年，两年多前开发了早期版本的技术。Koverse平台2.0于6月21日发布，它采用了Apache  Accumulo的"分布式键/值存储"技术和该公司的通用索引引擎(Universal Indexing Engine)。
　　联合创始人保罗布朗(Paul Brown，首席产品官)和阿伦科多瓦(Aaron  Cordova，首席技术官)曾在美国国家安全局(NSA)从事过数据科学家的工作，他们帮助开发了最初的Accumulo项目，为该部门的数据基础设施重新设计了架构，以便更好地处理意想不到的数据分析情形。现在他们把这一专长带给了Koverse的客户。
　　Looker更新嵌入式分析工具集

　　Looker商业智能平台可以访问驻留在数据库中或云端的数据。该公司的Powered by  Looker工具让开发人员得以将那些功能嵌入到应用程序中，或者构建具有数据探查和分析功能的自定义应用程序。
　　本周，该公司更新了Powered by  Looker，增添了预制应用程序模板、预制网页和应用程序窗口组件库、增强型API库，以及众多新功能，比如支持Javascript对话，那样更容易把Looker嵌入到应用程序里面。
　　Pepperdata Hadoop Health Check

　　Pepperdata开发的软件用于管理和改进Hadoop集群的性能。这家厂商启动了Hadoop Health  Check计划;按照该计划，该公司使用软件对至少100个节点组成的Hadoop集群进行补充性评估。该软件可以收集并分析Hadoop性能数据，该公司开发了诊断报告，可准确查出耗用太多IT资源的有问题的用户或任务，识别未得到充分利用的集群资源，并将处理方面的瓶颈标记出来。
　　Talend发布经过更新的大数据集成平台

　　Talend发布了新版本的Talend Data Fabric平台，用于集成驻留在本地或云端的数据和应用程序。
　　新版本的Talend Data Preparation软件是Data  Fabric系统的一部分，它为一系列广泛的业务用户提供了增强的自助式数据准备功能，而不是像许多数据准备工具那样将它们局限于一小批熟悉数据的用户。该公司表示，工具集提供了更直观的数据准备功能，还提供了基于角色访问共享式数据存储区的功能。
　　Talend Data  Mapper中的新功能通过更容易地处理庞大数据集，以识别数据模式，找到新的商机，帮助公司更好地发挥公司数据湖的运营价值。Talend Data  Fabric还新增了Talend Integration Cloud和亚马逊Redshift中的数据集成任务之间的安全套接层通信。
　　Teradata发布支持Presto的技术

　　企业数据仓库开发商Teradata发布了技术，支持它所发行的来自许多大数据分析软件开发商的Presto SQL-on-Hadoop软件。
　　Presto最初由Facebook开发，这个开源分布式查询引擎可以针对各个数据源运行交互式查询，包括Apache Hive、Apache  Cassandra、  Hadoop分布式文件系统、关系数据库，甚至专有的数据存储系统。Teradata的Presto发行版是这家开发商的Teradata统一数据架构的一部分。
　　支持Teradata的Presto的软件开发商包括：Tableau、Looker、Information  Builders、Qlik和Zoomdata，MicroStrategy和微软正努力认证其商业智能工具，以便与该软件兼容。
　　Waterline Data软件支持Apache Atlas

　　Waterline Data开发同名的Smart Data  Catalog软件，可以清点数据湖资产，改善数据发现功能，并且让公司更容易从那些资产获取价值。
　　Smart Data Catalog现在与Apache Atlas这种开源数据治理技术在Hortonworks数据平台里面集成起来。借助Waterline  Smart Data Catalog，Apache Atlas用户就可以将人工的元数据标记换成自动化流程，对数据湖资产进行分类，并改善数据治理。
　　Zoomdata的可视化分析软件支持MapR和Apache Drill

　　Zoomdata提供一种大数据可视化分析平台，能够实时处理本地环境和云环境中庞大而复杂的查询。
　　Zoomdata的软件现已通过认证，可与基于Hadoop的 MapR融合数据平台兼容，这两家公司正在展开合作，致力于改进产品整合和支持。
　　作为这次合作的一方面，Zoomdata表示，它开发了一款"智能连接件"(smart connector)，能够以原生方式将其软件与Apache  Drill联系起来，后者是一种开源SQL查询引擎，可以访问一大批NoSQL数据库和文件系统中的数据。