开发者俱乐部

标题: 论"大数据"时代下的海量数据存储技术 [打印本页]

作者: xman 时间: 2017-2-24 14:43
标题: 论"大数据"时代下的海量数据存储技术

　　高清、长周期呈现海量存储需求
　　高清已经在安防行业全面铺开应用。除了带给用户能够看得更清的良好视觉感受外，对存储容量的需求亦成几何式增长。例如: 前端IPC有130W到500W像素，码流也从有2Mbps到8Mbps，而一个130W像素，8Mbps码流的前端，录像一个月就需要2531.3GB，数据量不可小觑。

　　存储周期方面，现在也有了政府的有力推动。如中华人民共和国反恐怖主义法规定采集的视频图像数据保存周期不得少于90天;最高人民法院与国家档案局联合发布的关于人民法院诉讼档案保管期限的规定更是规定：将法院诉讼档案的保管期限分为永久、长期、短期三种，根据人民法院诉讼档案的特点，凡属本院审判活动形成的需要长远利用的诉讼档案，划为永久保管。凡属在相当长的时期内需要查考使用的诉讼档案，划为长期保管，保管时间为60年。凡属在相对较短的时期内需要查考利用的诉讼档案，划为短期保管，保管时间为30年，可以想象，数据量非常之大。
　　对当前整个安防市场来讲，特别是大公安、大交通、楼宇、司法监所、金融、文教卫、能源项目等行业迅猛发展，甲方客户的需求及大集成商的存储解决方案越来越倾向集中化。需要保存的数据也成线性增长，应对如此巨大的数据量，数据存储及客户数据快速有效查询就变得至关重要。某公司一直紧跟行业发展方向，致力于推出更符合用户需求与行业需求的监控/数据中心解决方案。
　　现有的安防存储模式
　　1. DVR/NVR前端本地存储
　　此种模式，一般应用于实施较早项目，使用的是DVR/NVR前端本地存储，随着大数据时代的来临，采用了比较直接的方法，在DVR/NVR直接连接扩展柜来实现容量的扩容。原来系统及原数据保持不变。此种模式由于采用DVR/NVR存储容量相对较小，况且DVR/NVR性能较低，信息孤岛现象严重，无法满足大数据需求。
　　2. 集中存储模式
　　客户数据采用磁盘阵列模式。可以采用在存储节点后直接增加扩展柜的模式，随着集群的推出也可以通过增加存储节点来实现容量增加。相对于DVR/NVR模式，容量大大提升，并实现了数据的集中存储，同时支持存储节点间的故障的自动业务接管，最大程度上实现了业务数据的完整性。但是随着大数据的来临，后续项目扩容时，需要人为配置设备的负载均衡。一台存储故障后导致设备存储的数据部分中断或者接管设备压力较大，另外考虑到网络延时，可能导致存储数据不完整，数据获取需要人为指定设备数据获取，管理成本较高等。为了设备的负载均衡，空间的虚拟化设备易维护的问题，云存储技术应运而生。
　　3. 云存储模式
　　随着云存储技术普及.目前市面大体分为通用云存储(文件云集群NAS )和视频云存储。
　　通用云存储
　　通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中大量各种不同类型的存储设备集合起来协同工作，共同对外提供数据存储和业务访问功能。
　　通用云存储较传统集中基本设备形态不变，故主要部件为：存储服务器(元数据服务器)+磁盘阵列。

　　通用云存储中许多都是通过优化改造传统IPSAN/NAS存储而演化而来，其通过实现服务器和存储设备集群化管理，存储资源虚拟化，达到分布式数据存储，因其内部数据处理以结构化数据为主。
　　工作模式：前端摄像机视频数据流经流媒体服务器转发到存储管理服务器集群，最后在写入指定的磁盘阵列。视频数据需经过流媒体服务器转发进入存储服务器，一定流媒体故障，系统业务中断，数据存在丢失风险。
　　通用云存储可以实现存储资源虚拟化，但虚拟化能力有限。通用云存储以结构化的文件系统存储非结构化视频图片数据，视频存储效率低。
　　基于以上几点，通用云存储产品当前都是面向全行业项目支持，主要作为一款存储方案，即不对安防视频应用做应用支撑.不太适合做安防视频整体的解决方案。
　　安防专用的视频云存储
　　基于云架构进行开发，融合了集群应用、负载均衡、虚拟化、云结构化、离散存储等技术，将网络中各种不同类型的存储设备，通过专业应用软件集合起来协同工作，共同对外提供视频、图片数据存储和业务访问服务。
　　视频云存储基本组成单元: 云存储管理服务器、云存储存储节点、云存储软件。

　　视频监控平台根据业务需求为各前端摄像机下发录像计划，视频云存储系统根据当前系统内的业务负载情况分配具体的存储空间，前端摄像机推送视频数据流直写到分配的存储设备上。视频云存储数据传输协议支持主流的流媒体协议(如RTSP/ONVIF/PSIA等)和GB/T28181规范;支持平台直接调取，架构简化而开放，空间自我管理，可独立组网。
　　对于通用云存储，视频云存储优势如下
　　相在大型视频监控项目中，视频云存储在视频/图片存储效率优于通用云存储。
　　在项目预算中，视频云存储较通用云存储能节省部分服务器投入，有成本优势。
　　视频云存储是专门针对视频安防行业的高效安全稳定的后端存储解决方案，所以可以支撑大量的视频功能应用，这个也是通用云存储所不具备的。
　　视频云存储特点如下:
　　1) 高效灵活的空间管理
　　对存储资源进行虚拟化整合，提高用户管理效率;
　　支持存储资源的在线扩展，实现容量与性能的线性增长;
　　虚拟空间可灵活调整，不但能扩大，同样能缩小;后续产品只需要增加存储节点就能完成容量升级
　　2) 海量数据的快速检索
　　采用一体化索引设计，大大提高了查找速度;
　　深化视频、图片的应用设计，支持I帧信息快速读取;
　　3) 持续可靠的数据服务
　　提供7X24小时不间断高效可持续的数据服务，充分保护数据安全和可靠性;
　　采用全集群化设计，性能全面提升，设备压力负载均衡，单/多点故障，录像业务不中断;
　　数据存储采用离散存储算法，提供系统级高效、稳定存取服务;
　　4) 高可扩展的应用支撑
　　系统的高性能设计，能够并发服务以满足视频数据的高速读取需求。
　　采用流式数据结构，面向视频、图片数据而设计，满足视频数据的持续写入;
　　深入开发视频录像的专业化应用设计，优化了应用的服务质量;
　　5) 开放透明的兼容系统
　　统一开放的应用功能接口，由上层业务平台直接调用;
　　数据存储采用离散存储算法，提供系统级高效、稳定存取服务;
　　6) 高可扩展的应用支撑
　　系统的高性能设计，能够并发服务以满足视频数据的高速读取需求。
　　采用流式数据结构，面向视频、图片数据而设计，满足视频数据的持续写入;
　　深入开发视频录像的专业化应用设计，优化了应用的服务质量;
　　7) 开放透明的兼容系统
　　统一开放的应用功能接口，由上层业务平台直接调用;
　　采用的是标准设备兼容模式，支持标准IP SAN、FC SAN存储设备的接入;
　　目前需要存储容量不断增加，客户要求数据存储周期越来越长，带库和云存储融合方案慢慢呈现在客户面前。
　　4.视频云+带库
　　长周期数据云存储+带库方案：致力于解决重要数据的归档备份，数据快速提取。存储组成缓存存储系统，提供足够的存储空间满足热数据及备份数据的容量需求，结合专业的备份软件和磁带库实现数据的在线和离线备份云存储系统统一管理冷热数据存储及状态切换，提供对热数据的转码、压缩等丰富的功能应用。同时完全继承传统云存储虚拟化资源分配、离散存储、在线扩容、集群容灾，兼容第三方存储等云存储特性
　　方案中所有存储设备均可设计为冗余连接，在满足用户存储需求的同时，兼顾整个系统的存储性能和安全性。
　　系统功能简介;
　　业务层面
　　支持实时视频流、视频文件、图片、普通文件混合存储;支持对数据自定义归档存储，同时保存热数据及归档数据;将客户经常使用的视频图片及文件存入热数据存储资源池;把客户访问频率不高的视频视频文件、图片、普通文件且需要长周期存储的数据存入冷数据存储资源池.冷热数据资料可以通过管理软件实现数据迁移.数据归档和迁移时可以按照文件时间、文件大小、各级存储的位置、文件的历史版本、存根信息等进行策略定制，实现基于策略的数据归档和迁移
　　数据高可靠性保障系统
　　带库方案是基于目前稳定的存储系统架构，采用成熟稳定的硬件，可以保障系统长时间稳定运行。系统的管理软件具有报警措施，控制软件发现软硬件异常时，通过多种方式进行报警。管理软件包括快照和克隆的功能，可以使所管理的数据回滚到原来某一时刻的状态，防止用户错误操作带来的数据丢失。同时通过存储管理软件实现备份功能。
　　高安全数据存储
　　系统通过用户名、密码、IP地址认证等认证方式，保证数据空间访问权限的控制，保障数据不会被其他人恶意窃取或破坏。
　　方案中，根据客户需求可以设定不同的登录权限和读写操作权限，实现数据的安全性
　　存储设备内嵌WORM归档模块，它是针对档案类存储提供的基于硬盘的写一次，读多次的存储产品。可以有效防止关键文件数据被篡改。
　　高扩展的带库存储
　　整个系统的存储容量可以在不影响业务运行的情况下随需采购磁带扩展。存储的性能也可以动态线性增加，通过增加驱动器的方式，拓宽整个系统的处理性能。
　　系统易扩展为远程容灾存储系统。系统是基于存储和备份软件结合，易于实现远程的数据传输;为以后扩展到其他地区，结合为一体的容灾存储系统建立好的基础条件。
　　科学有效的备份实现
　　日常需要备份的主要业务数据，可以用文件同步和文件备份功能实现。设定合理的备份策略，尽可能利用非业务时间进行文件同步和备份，避免增加对应用局域网的负载压力。
　　采用专业的文件集中备份功和数据库备份功能实现。不干扰用户的局域网正常业务，达到LAN FREE效果。
　　较低的保存环境要求
　　磁带是可移动介质，可以异地离线保存，运输方便，可以根据用户需求在不同存放地点之间搬运，这对数据的安全来说是非常有利的，适合数据交换。离线磁带不会受机械振动、电力变化等因素带来对寿命的影响，对存放条件要求简单。
　　通常情况下，性价比和高可用仍是企业或者个人选择存储系统最优先考虑的两大因素，此外存储的易于部署和管理以及磁盘和闪存的紧密整合也是企业用户评估存储的重要考虑因素.随着大数据时代的来临，企业会根据自身需求和预算来挑选适合自己的企业的解决方案。
　　整体来说，目前云存储发展最为迅猛，以其遥遥领先的优势独占鳌头，必然会是未来大数据应用的重点组成部分，同时数据分层、融合以及智能也将逐渐普及应用，可以说，安防行业为了迎接大数据来临，已经做好了充足的准备。

欢迎光临开发者俱乐部 (http://xodn.com/)