基于数据抽取与订阅实现数据共享分析及研究论文

2021-04-14 论文

  1.引言

  早期的应用系统的建设,大都存在缺少总体、全面、系统的规划,缺乏统一的数据标准,相互之间资源难以共享的“信息孤岛”。从而造成各部门提供的数据不够完整、准确和权威。给全校范围内信息的交流和共享带来了障碍,同时产生了大量的冗余信息。因此,需要通过对各部门计算机应用系统进行统一规划,利用底层整合的信息资源,为门户、应用和信息资源整合提供数据交换、资源管理等基本服务接口,以实现各部门决策数据在应用层面的互联互通和信息共享。

  为了实现数据共享,需要建设数据中心存储全校共享的数据。建设数据中心时,尽可能扩展数据的集成范围,形成大而全的数据中心,作为全校数据统计分析、智能决策支持的权威数据库;数据库能集成到数据中心运行的应用系统尽可能集成到数据中心运行,数据中心可以成为后续开发各种应用系统的通用数据库平台;对于需独立运行的应用系统,通过数据交换与共享服务平台来实现数据的集成与共享;同时制定规范的数据变更流程,实现谁产生、谁维护、谁负责的权威数据源。

  本文以我校数字化校园项目建设为例,重点介绍如何规划好我校数据流,以及如何通过数据的抽取与订阅实现各业务系统数据共享。

  2.数据流规划

  为了实现校内各业务系统间的数据共享和保证数据的一致性,必须规划好数据流向。数据共享的'总体包括了代码集的共享和数据集的共享。在这里,“代码集”主要是指在各个应用系统需要实现流转的学校标准代码,“数据集”主要是指在各个业务系统间需要进行数据共享的数据集。

  每一个共享的代码集或数据集都有唯一的权威数据源,执行“谁产生,谁维护”的原则。在整个数据流转设计中,数据流都不做交叉设计,这样不会导致数据流混乱,形成误解。 因些必须对各业务系统进行统一编码,设置好业务系统间数据共享流程,并对共享数据信息流细化。

  2.1业务系统统一编码

  根据我校所使用的各业务系统,分别采用数字对应各业务系统,“41”代表“人事系统”;“42”代表“学工系统”;“43”代表“招生系统”;“44”代表“科研系统”;“45”代表“科研系统”;“47”代表“迎新系统”;“48”代表“离校系统”;“50”代表“校友系统”;“52”代表“办公系统”;“61”代表“财务系统”;“62”代表“图书馆系统”;“63”代表“一卡通系统”;

  2.2业务系统间数据共享流程

  业务系统主要涉及到:招生系统、教务系统、迎新系统、学工系统、离校系统、校友系统、人事系统、财务系统、科研系统、办公系统、图书馆系统、一卡通系统;系统间各业务数据的来源及共享如下图所示:

  每个带有“数字”箭头的标记分别表示数据的来源和内容及数据流向哪个业务系统,详细信息如下:

  (1) 新生数据

  (2) 新生数据(教务系统已经进行分班编学号处理)

  (3) 迎新结果数据

  (4) 学生基本信息,学籍基本信息,成绩数据

  (5) 学生基本信息,学生收费明细

  (6) 学生收费结果数据

  (7) 奖学金信息,资助信息,贷款信息,绿色通道信息,困难生补助信息

  (8) 学生奖学金发放结果,资助金额发放结果,补助发放结果,贷款处理结果

  (9) 学生收费数据,学生欠费数据

  (10) 需要办理离校手续的学生信息

  (11) 离校后的学生信息

  (12) 教职工基本信息,教职工工资明细

  (13) 教职工基本信息

  (14) 科研成果数据,论文、著作数据

  (15) 科研项目信息

  (16) 项目经费到账信息

  -教职工信息

  (17) -(20)教职工信息

  (21) 教师课程安排信息,教学质量评价信息

  (22)(23)学生基本信息

  3.数据抽取与订阅

  3.1数据抽取与订阅的实现流程图

  通过触发器、系统日志、数据变化标志位来捕捉业务系统需要共享或要交换到数据中心的数据发生变化,同步到中介库,设置中介库在业务系统数据库服务器,这样数据发生变化后同步到中介库,不需要进行数据库异构转换,而且不需要经过任何网络,这样能保证数据的实施、高效、安全的数据同步。

  3.2数据抽取与订阅实现

  数据中心从各业务系统中抽取需要共享的数据来保持数据同步,如需要从教务系统中取学生信息集和教学场地信息集,需要从人事系统中取教职工信息集。数据中心从业务系统整合数据的关系图如下:

  先由数据中心系统管理员或各业务系统管理员进行数据抽取配置,选择从哪个系统抽取数据,再设定业务系统信息字段与数据中心信息字段的对应关系如图3所示:

  4.结语

  高校信息化建设是一个不断发展的过程 ,在这个过程中,信息资源的有效整合是一个必然的过程 ,通过整合可以实现现有业务系统之间的数据交换与共享。本文通过分析学校各业务系统的数据特点,规划出各业务系统的数据流向,并通过数据的抽取与订阅实现数据共享。

  参考文献:

  [1]金保华, 和振远, 张亮, 李金旭, 赵丽辉 基于 SOA的数据共享与交换平台分析与设计 郑 州 轻 工 业 学 院 学 报 (自 然 科 学 版 )2011年2月

  [2]李学俭 数据共享环境下统一信息标准的建设与应用 计 算 机 技 术 与 发 展2011年5月

【基于数据抽取与订阅实现数据共享分析及研究论文】相关文章:

大数据时代基于云计算的数据监护研究论文11-01

大数据自动分析与数据挖掘探讨的论文04-26

论文:大数据分析与应用问题研究07-02

基于QAR数据的民航发动机排故方法研究分析论文10-31

大数据环境下的数据安全研究论文10-30

基于大数据的统计分析模型设计论文11-17

简析基于大数据平台的动态票额智能预分系统的研究与实现论文10-30

基于SSH与代理的数据安全传输机制的研究论文11-02

基于现象学方法的大数据实验室研究分析论文11-02