数据分析系统及数据分析方法

jack

摘要：本发明公开了一种数据分析系统及数据分析方法。所述系统包括：待调度任务生成模块，用于根据预先定义的任务参数将收集的数据生成待调度的任务；待调度任务存储模块，用于存储生成的待调度的任务；任务调度模块，用于加载待调度的任务，并根据任务类型调用相应的任务处理模块；任务处理模块，用于根据任务中的分析需求生成相应的Hive？SQL语句向基于Hadoop的数据仓库服务器发送；在接收到服务器返回的数据后完成对任务的数据分析。由于在数据分析系统的底层利用Hadoop系统进行数据分析，而在数据分析系统的上层则以任务调度模块来实现对任务的统筹管理，从而既可以利用Hadoop系统简化了数据分析流程，又提供了更为方便地对任务进行调度、管理的系统。

申请人： 新浪网技术(中国)有限公司

地址： 100080 北京市海淀区北四环西路58号理想国际大厦20层

发明(设计)人： 王锋 漆兴 赵国贤 王志强

主分类号： G06F9/46(2006.01)I

分类号： G06F9/46(2006.01)I

主权项	一种数据分析系统，包括：待调度任务生成模块，用于根据预先定义的任务参数将收集的数据生成待调度的任务；待调度任务存储模块，用于存储所述待调度任务生成模块生成的待调度的任务；任务调度模块和任务处理模块，所述任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive？SQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。
公开号	102880503A
公开日	2013-01-16