一、SmartCloud产品概述
SmartCloud是面向气象垂直领域应用的云存储与云计算平台,旨在实时处理、存储、查询、分析和统计海量气象数据,以分布式节点存储、多节点平行计算等方式提供智能、可线性扩容的气象数据处理能力。申请程序应用:smartcloud@weather.com.cn
二、产品功能
SmartCloud基于EJB、Hadoop、HBase、MQ、STORM等一系列业界先进技术,并针对气象服务业务进行了大量定制开发,以满足现代气象业务中精细化、高频次、高时空分辨率的数据加工应用需求,可以与各类上下游气象数据业务紧密集成,且易于监控管理,是新一代气象服务业务的核心基础设施。
1.标准API包
SmartCloud提供面向对象存储的服务框架,使得使用人员无需编写复杂的代码,而使用熟悉的面向对象的设计思想开发自己的业务,实现气象数据分布式存储、查询。
2.数据统计分析接口
数据统计分析接口提供了一套简单易用的分布式计算模型。此模型与具体的业务充分解耦,使用者可以使用此计算模型进行高效的开发,实现气象数据的统计、分析。
3.多协议服务
针对气象业务的专业性、复杂性和多样性,平台提供了多协议服务,使得多种开发语言编写的业务系统都能方便的接入到平台中。
4.数据管理
平台提供WEB端的数据库管理界面,开发人员和DBA无需考虑数据处于集群中的位置,无需使用繁琐的命令即可完成对库、表以及数据的管理和操作。
5.决策支持
平台提供一个WEB端的决策支持模块,各部门开发的数据统计分析业务都可以通过简单的配置将结果通过图表的方式展现,提供历史天气数据统计及未来趋势预测,为各部门管理者提供直观的决策依据。
6.集群监控
集群监控负责收集平台中各服务器节点的CPU、内存、硬盘使用情况,生成直观的统计图表展示给平台管理员,管理员据此对集群进行优化,或判断时候需要新增节点。集群监控除了对系统进行监控外,还对各节点中的数据分布进行监控,当某一节点数据分布过于集中或者数据温度过高时,系统会自动处理以保证平台平稳、持续运行。
7.数据备份恢复
保证海量气象数据的安全,平台提供了手动和定时两种数据备份机制,在备份数据时系统会使用LZO压缩方式自动将海量数据压缩,保存在HDFS文件系统中,备份会在系统中自动保存3份,当恢复时如果某一份数据损坏,系统会自动使用第二份备份数据,确保备份数据的完整性。
8.日志监控
平台管理员通过此组件获得平台运行时日志中收集的错误信息,及时排除故障隐患,保证平台中各气象服务业务稳定、持续的运行。
9.MQ消息服务
为了充分解耦各部门的业务系统,平台集成了MQ消息服务机制,各业务系统之间通过消息队列进行数据交互,某一业务系统出现故障不会对其他系统造成影响,同时也便于各部门的业务扩展和业务系统的升级。