Platform助气象卫星应用系统实现数据处理自动化

在全球气候变暖的大背景下，极端天气气候事件的频发，将给人民群众的生命和财产安全带来威胁。为了应对气候变化带来的诸多挑战，各国气象部门纷纷加强了综合探测系统的建设。作为综合探测系统的一支重要力量，我国气象卫星风云一号、二号、三号系列，犹如太空的“千里眼”，24小时监测着地球上的“风云变化”。

系统资源调动自动化是关键

从卫星上接收各种气象遥感数据到输出各种大气、海洋、陆地图像和定量应用产品，是一个非常复杂的过程，需要多台服务器协同工作。要让多台服务器自动、有条有理、像流水线一样井然有序地处理和运行，尤其是在多卫星条件下，作业流程或作业序列的启动和运行显得更加复杂多变，单靠人工干预，基本上无法完成所需要的作业调度任务，必须依靠自动化的负载调度系统，自动分配计算资源，实现资源调度的自动化。

根据风云气象卫星数据处理的特点，国家卫星气象中心认为负载调度子系统应该具备以下特点：

实现卫星数据处理总体流程调度、控制、管理。由于卫星数据处理是以实时运行的作业为序列，负载调度子系统首先需要跳出单个作业的处理和控制，确保卫星数据处理流程具有正确的调度序列和运行序列，同时也要确保流程运行的可控性、可见性和可管理性。

实现单个作业在多处理器、多机环境的有效和有序调度。卫星数据处理具有数据量大、运算量大等高性能计算的显著特点，需要相当高的计算能力。负载调度子系统必须能根据当前计算机系统的运行情况以及需要运行的作业的情况，根据事先定义好的调度策略，迅速高效地调度相应作业的运行。

通过对现有计算机系统使用效能和可扩展性分析，为业务系统的扩充以及现有系统的运行状况的改进提供参考依据。

Platform解决方案来助力

为实现对风云气象卫星数据处理的调度、监控、运行和管理，国家卫星气象中心与业界公认的分布式资源管理领域的领袖公司Platform合作，构建基于Platform公司作业调度解决方案的负载调度子系统，并将其作为了卫星气象中心运作的基础支撑工具。国家卫星气象中心认为，Platform 公司是集群系统管理软件领域的领导者，其LSF系列负载调度软件在国内外具有众多多的用户案例，在国防、教育、航空、航天、气象、电子等领域得到了广泛的应用。的用户案的用户案例，在国防、教育、航空、航天、气象、电子等领域得到了广泛的应用。

Platform作业调度解决方案包括Platform Process Manager、Platform LSF 两个模块。

Platform Process Manager是一套专业的工作流程管理系统，提供可视化的工作流程创建、编辑、运行和监控，极大地简化了大型复杂工作流程的定义、运行和管理问题。Platform Process Manager能提供卫星数据处理流程的定义、执行、实时监视和控制。用户通过Process Manager的客户端工具或用户定制的工具，创建、触发和管理卫星数据的处理流程。Process Manager后端的流程处理服务器响应来自客户端的请求，根据流程的触发条件启动流程，根据用户的指令控制流程运行，同时维护流程中所有作业的相互依赖关系。当流程中作业的运行条件满足时，Process Manager的服务将实际作业提交到LSF 管理的机群中。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友