背景
我国空间数据领域正在飞速发展。到目前为止,我国已经成功发射了16颗返回式卫星,为资源、环境研究和国民经济建设提供了宝贵的空间图像数据,在我国国防建设中也起到了不可替代的作用。
此外,由中国资源卫星应用中心发起建立的“遥感集市”也成为国内首个一站式遥感云服务平台,为不同领域不同行业用户提供相关信息服务。我国在该领域的发展大大超过预期目标。
需求描述
由于客观原因,我国在空间数据领域发展较国外发达国家还有一定的差距。在发展过程中,有几个问题亟需解决,主要包括空间数据的传输接收、数据的自动化调度处理、安全交付等。
数据接收传输解决方案
需求描述
- 在空间数据领域,目前主要采用的是航天卫星或航空飞行器等方式进行相关数据的测绘、探测。在传统的空间数据领域系统中,数据地面接收系统是整个业务系统的底层基础平台,所有的信号数据均需要通过数据的传输系统汇总到相应的分析系统中,进而才能进入下一个业务流程。现阶段系统接收的上端卫星或飞行器等设备本身的带宽有限,为了保证系统数据的运行,就需要下端数据接收后能缩短传输时间。但多数系统只有等待所有的信号数据下载收取完毕后才能再进行传输操作。系统等待时间会延长下一步业务的流程,影响了整体业务系统的流畅运行。
- 部分空间数据业务系统在设计伊始考虑到了数据高效传输的需求,因此在信号数据接收一部分后即进行系统内部的标识,将信号数据分割成多份进行异步传输,当所有信号数据文件传输完成后,在系统一端进行数据流的重组,形成完整的信号数据文件。但是由于系统内部没有传输优化机制,在数据分割传输的过程中存在数据意外丢失和传输偶发中断的问题,系统管理人员只能通过手动的方式再次进行传输。为了确保这个流程运行,需要专人实时进行监控,增加了系统运行的成本。
- 部分空间数据属于敏感信息,需要在传输过程中加以保护,确保非可信人员无法截获。现阶段业务系统中普遍缺乏加密传输保护,数据以明文的方式在通道中传输,一旦有恶意用户进行信号数据监听,极易造成数据的风险。
由此,需要引入一种新的数据传输机制,提高信号数据的传输效率,降低数据在传输过程中的安全风险,实现传输高效实时性的传输目标。
解决方案
- 在对应的接收站点部署Ftrans Engine传输引擎,在数据中心部署Ftrans Web.Console管理平台和Ftrans Engine传输引擎。管理员根据业务流的需要,在Ftrans Web.Console平台上建立任务型的传输策略。空间数据业务系统根据策略执行信号数据的传输操作,实现信号接收系统接收到空间数据业务数据后第一时间即启动数据回传。
- 地面接收站和数据中心传输引擎采用1~1主备模式,当主引擎服务硬件意外宕机后,系统进行心跳监测,备用Ftrans Engine传输引擎自动启动,替代主引擎服务进行传输任务的调度,实现高可用性。
- 系统提供传输任务的优先级控制策略,对一些空间数据的不同业务数据可进行分类传输,可手动或自定义对传输队列进行控制操作,提高业务的运行效率。
- Ftrans系统采用更先进的优态控制算法和策略,在网络异常或波动明显时,采用更优化的队列传输。特别是在接收站与数据中心这样异地远距离的条件下,数据的传输性能不下降。
- 为了确保卫星信号数据在传输过程中的安全,Ftrans系统提供金融级的密钥交换机制和数据加密算法传输加密策略。在卫星信号接收端和数据中心两端建立安全传输通道,在传输的过程中保障了数据的完整性和安全性,降低数据在网络传输过程中被意外截获的风险。
- Ftrans提供全面的API接口,通过和空间数据运行系统的集成,对业务系统中要求精度更高的数据进行自动的通知、调度。数据中心需要时下发传输指令,地面接收站在指定的时间启动传输任务,自动将本地保存的完整性数据进行回传,过程更加智能化。
数据自动化调度处理解决方案
需求描述
- 相对于空间数据领域中硬件的高速发展,作为底层的业务支撑系统发展速度则显得较慢。一方面是这些底层系统早期主要由一些科研院校承接开发,较少借鉴外部商业上的信息技术手段,在系统容错性方面没有对应的系统设计;另一方面,系统在建设初期没有考虑到后期的业务发展如此之快,系统内部没有关联,各自为政,形成了多个独立的子系统,导致了业务系统的信息孤岛效应。
- 在信号数据传输回来后,空间数据系统中的数据分析系统会开展后续的数据加工处理。如对应海洋领域的业务需要调取和海洋数据相关的信息数据、对应气象领域的业务需要调取和气象数据相关的信息数据、对应高分领域的业务需要调取和高分数据相关的信息数据。这些数据调度到对应的业务系统中进行深度的信息分析处理,以便提供给下游的用户使用。目前空间数据业务数据中没有自动执行调度的策略,需要人工操作,效率较低。
- 随着空间数据业务领域越来越多的业务融合,各个业务系统之间的数据调度也越来越频繁。由于各个业务系统建立的标准、方式几乎都不相同,也不可能再进行统一修改。后期的业务系统传输效率好于早期上线的业务系统传输效率,单个业务系统之间的信息交互传输困难较大,缺乏对整体业务系统数据传输状态的可视化监控。
因此,需要通过一个统一的管理平台,利用其开放接口实现各个业务系统之间数据的统一管理及智能化的自动执行调度操作,从而打通各个业务系统之间的传输通道,提高整体的运行效率。
解决方案
- 在各个业务系统节点部署Ftrans Engine传输引擎,在数据中心部署Ftrans Web.Console管理平台和Ftrans Engine传输引擎。管理员建立不同的数据调度策略,实现中心业务系统到其他业务系统之间的数据智能调度。
- 数据中心传输引擎采用1~1主备模式,当主引擎服务硬件意外宕机后,系统进行心跳监测,备用Ftrans Engine传输引擎自动启动,替代主引擎服务进行传输任务的调度,实现高可用性。
- 管理员可以通过在后端策略的部署,实现各个节点业务系统之间偶发的数据调度,自动通知系统执行。
- Ftrans Web.Console管理平台支持周期性或触发性的策略部署,可以将数据业务流从逻辑上串接起来,提高数据的有效应用。
- Ftrans系统提供数据传输调度进度信息的展示和查询,管理员通过可视化的管理页面即可对全局各个业务系统之间数据调度运行情况进行查看,自定义脚本的策略还提供事前事后的事件信息通知,提高了业务数据调度的效率。
数据安全交付解决方案
需求描述
- 空间数据业务飞速发展,数据量极大丰富,已经逐步向信息服务转型。这些数据在经过前期传输、中期深度加工处理之后,需要最终交付给下游用户使用。目前国内下游用户主要分为两类,一类是科研院所和单位用户,另一类是个人用户。对于科研院所和单位用户,数据以分发的方式定期或不定期的进行交付;个人用户则可能采用邮件、即时通讯软件等方式进行传输。多种交付方式的架构带来管理上的难度,部分数据体量较大、时效要求较高,传统的传输方式无法满足要求。
- 另一方面,数据的交付本身也提出了安全上的要求。无论是周期性质的定点数据交付还是临时不定期的数据交付,过程都缺乏必要的信息记录。有些敏感的数据交付应该有详细的日志留存,以便后期可能的追溯查询。
因此,需要建立一种新的数据交付方式,对不同级别的用户提供不同的数据交付传输通道。
解决方案
- 在科研所和单位用户一端部署Ftrans Engine传输引擎,在数据中心部署Ftrans Web.Console管理平台和Ftrans Engine传输引擎。管理员可以建立不同的数据调度策略,实现数据中心到科研所和单位用户之间的数据周期性的有效传输交付。
- 在数据中心部署Ftrans Web.Front内容管理平台,下游的个人用户可以通过Ftrans Plugin浏览器插件将所需的数据下载到本地使用。所有用户下载的过程均有审计日志记录,确保数据可信的传输交付。
应用收益
通过引入飞驰传输系统,可实现空间数据业务领域中数据高速接收传输、数据自动调度处理、数据安全交付等方面的建设目标。
高可靠性,确保数据完整传输
利用飞驰传输系统核心传输协议,空间数据系统地面接收站可将大量碎片化信号数据文件高速地传输到数据中心。系统内置的数据校验,错误重传及断点续传功能,可以确保数据传输过程的完整性。
提供队列策略,实现按优先级传输数据
系统提供队列策略,在空间数据系统接收不同业务流数据后可手动或自动执行传输任务,对时效性高要求的数据优先传输,时效性低要求的数据排队后传输,实现了数据分时传输的要求。
加密传输,避免敏感数据外泄带来的损失
利用飞驰传输系统的传输加密功能,可对空间数据系统地面传输的文件数据进行加密传输处理,确保在这种跨区域传输过程中的数据安全性,降低敏感数据外泄的风险。
提供主备运行模式,实现7*24小时无人值守
飞驰传输系统提供主备运行模式,主服务传输引擎意外宕机后不影响业务系统的整体运行,可实现7*24小时的无人运行值守。
数据传输智能化,提高工作效率
飞驰传输系统提供对业务数据传输任务型的配置,系统遵循自动化的触发策略机制,接收站数据在业务流程需要时,自动执行数据上传数据中心策略,实现更加智能化的管理,提高工作流程效率。
系统集成灵活方便,降低基础设施投入成本
飞驰传输系统提供全面的API接口,灵活方便的与空间数据系统进行对接,利用飞驰系统作为底层数据传输的调度平台,为各系统提供统一的数据传输能力,未来业务扩展无需重复投资,大大降低了基础设施的投入成本。
传输过程可视化,实现统一便捷的数据管理
通过飞驰传输系统的可视化界面对空间数据的传输过程、状态进行统一的监控和管理,建立了空间数据中心IT管理员在全局进行数据传输管理的新模式。
数据传输过程可审计,提高交付安全性
飞驰系统管理平台根据不同的用户级别提供不同的数据交付通道。固定、周期性的用户采用数据同步分发的交付管理策略。个人用户采用数据网盘的方式实现数据的下载、分享操作。所有数据交付过程均有详细的审计日志,有效提高了数据交付的安全性。