基于大数据的装备信息管理应用
来源:保捱科技网
第38卷第11期 兵器装备工程学报 2017年11月 【后勤保障与装备管理】 doi:10.11809/scbgxb2017.11.022 基于大数据的装备信息管理应用 王家其,贾红丽,尹承督,樊泽凯 (军械工程学院装备指挥与管理系装备管理教研室,石家庄050003) 摘要:针对装备信息管理建设中存在的问题,从大数据的特点人手,介绍了大数据在社会和军事方面的不同应 用,分析了未来基于大数据的装备信息管理的发展趋势,提出了基于大数据的装备信息管理模式。 关键词:大数据;装备信息管理;数据采集;数据存储;数据分析 本文引用格式:王家其,贾红丽,尹承督,等:基于大数据的装备信息管理应用[J].兵器装备工程学报,2017 (11):99—102. Citation format:WANG Jiaqi,JIA Hongli,YIN Chendu,et a1.Information Management of Army’S Equipment Based Oil Big Data[J].Journal of Ordnance Equipment Engineering,2017(11):99—102. . 中图分类号:E917 文献标识码:A 文章编号:2096—2304(2017)11—0099一o4 Information Management of Army’S Equipment Based on Big Data WANG Jiaqi,JIA Hongli,YIN Chendu,FAN Zekai (Teaching and Research Section of Equipment Command and Management Equipment, Ordnance Engineering College,Shijiazhuang 050003,China) Abstract:In the construction of army’S information management in equipment,the data of equipment ifnormation tams bigger and bigger with more and more types,which leads to the dilemma that the existing management model is incapable of meeting army’S requirement.To solve this problem,a hot research topic:big data is used and the newly ifnormation management model based on that it is posed.Proceeding from data gathering,data storing and data analysis,along with the information of army’S equipment,a survey on the characteristic and application of big data is made in this essay in order to find out the application of army’S information management in equipment and the future development. Key words:big data;information management in equipment;data collection;storage;data analysis 装备信息管理是一项全局性、基础性、经常性 化建设的关键时期,装备在训练与执行任务时产生了大量与 工作,是生成、巩固和提高信息战斗力的重要保障和基 其相关的数据,这些数据在数量上与结构上都完全符合对于 础性工作 。随着当今世界科学技术的不断发展,我军部 大数据的定义,受制于数据仓库容量与传统数据处理模式的 队的信息化程度也在不断提高,对以数据为中心的信息 制约,对于这类数据的存储与分析处理是传统数据仓库难以 管理手段提出了更高的要求。然而,伴随着实战化训练要求 应对的,会造成大量数据隐含信息被忽略,因此,需要一种快 的逐步加强,各类信息化装备在频繁训练、演习过程中必然 速高效的信息管理模式对这些数据进行存储分析 ’4 J。本文 产生了大量的数据,面对这些海量数据,我军传统的数 从大数据的特点人手,结合目前装备信息管理,介绍了 据存储与分析模式的弊端日益凸显。当前我军正处于信息 大数据在社会和军事方面的不同应用,分析了未来基于大数 收稿日期:2017—07一l3;修回日期:2017—07—30 作者简介:王家其(1989一),男,硕士研究生,主要从事装备建设与发展研究。 通讯作者:贾红丽(1972一),女,副教授,硕士生导师,主要从事装备建设与发展研究。 100 据的装备信息管理的发展趋势。 兵器装备工程学报http://scbg.qks.cqut.edu.cn/ 教育等领域的事务管理。例如在医疗卫生管理方面,大数据 可以有效预防季节性疾病或是突发病症的发生;在交通管理 方面,可以构建合理的交通系统,并且进行道路的规划与治 理;在图书馆管理方面,大数据通过读者借阅情况规划图书 的购入;在物流管理方面,依托大数据制定科学的物流解决 1 大数据的特点及应用分析 大数据(Big Data)又称为巨量资料,指需要新处理模式 才能具有更强的决策力、洞察力和流程优化能力的海量、高 增长率和多样化的信息资产 J。“大数据”概念最早由维克 托・迈尔・舍恩伯格和肯尼斯・库克耶在编写《大数据时 方案,提高了其管理水平及效益。大数据同时在电力部门、 企业商品开发、地理测绘等方面也产生了重大作用。 2)大数据在军事方面的应用 代》中提出。 1.1大数据的特点 大数据是继云计算、物联网后信息时代的重大技术革 新,其特点主要有: 1)容量大(Volume),一般数据量以TB、PB来计算,数 据规模大,其大小决定所考虑数据的价值和潜在信息,例如 情报侦察部门数据存储量多达PB级别。 2)种类多(Variety),数据类型复杂、多样,主要包括结 构化数据、非结构化数据(半结构化数据、准结构化数据)等。 3)速度快(Velocity),速度快有两层含义,一是数据量 增长快,据国际数据公司(International Data Corporation,IDC) 预测,在全球范围内,每年数据将以50%的速度增长;二是数 据处理速度快,采用相应的大数据处理技术,可以快速从大 量多类型的数据中获得高价值信息。 4)价值性(Value),有两层含义,一是价值密度低,以追 捕罪犯为例,在长时间的监控视频中,只有嫌疑人出现的几 秒为有用的视频信息;二是潜在价值高,从大量的数据中可 以挖掘出用于管理、指导人们生活的决策。 5)真实性(Veracity),数据的质量及真实程度越来 越高。 6)可变性(Variability),数据内容及类型改变较快,妨碍 了处理和有效的管理数据的过程。 1.2大数据的应用分析 伴随现代社会信息化的建设发展,数据成为社会各界的 核心,影响着各界在各方面的决策,世界各国均十分重 视大数据的应用,大数据在社会和军事方面有着广泛 应用 一 。 早在2009年,联合国就启动了“全球脉动计划”,拟通过 大数据推动落后地区发展。2012年1月世界经济论坛年会 把“大数据、大影响”作为重要议题。美国奥巴马在 2012年发布《大数据研究和发展倡议》提出,投资约2亿多 美元用来支持对数据接入、组织、挖掘工具和技术的发展,并 且进一步发展形成了包括12个部门和多机构的多项研究计 划 』。当今国内大数据的地位也正在不断提升。在层 面,经李克强总理签批,2015年9月,印发《促进大数 据发展行动纲要》,系统部署大数据发展工作。在学术层面, 国内许多高等院校及研究所开始成立大数据的科研机构,在 产业层面,国内不少知名企业或组织也成立了大数据团队, 力争在大数据产业竞争中占据领先地位。 1)大数据在社会方面的应用 大数据常用于公共设施建立、医疗卫生、交通管理、人文 大数据在众多领域都有着广泛应用的同时,在军事领域 也得到了深入发展。在指挥控制领域,大数据可以实现对战 局的“全维感知”以及通过高速的数据处理分析能力为指挥 决策提供支撑;在综合后勤保障领域,依托大数据技术构建 的后装保障系统,优化后装保障的精细化程度,通过快速的 数据分析达到合理、高效的综合保障效果;在军事训练数据 管理方面,大数据通过对大量训练数据的采集、存储和分析, 为制定军事训练计划提供意见和建议。 2基于大数据装备信息管理应用分析 *指出,装备管理是战斗力生成的重要基础, 要把装备信息管理放在国防和现代化建设优先发展的 战略位置来抓 。在现代战争中,信息权成为夺取战场控 制权的核心,一体化联合作战成为基本作战形式,装备 信息管理数据研究(采集、存储和分析)在军事领域也就变得 尤为重要。 2.I 基于大数据的装备信息管理数据的采集 装备信息管理数据的采集,即指使用某种技术或者 手段,从装备管理中获得原始数据的过程。数据采集不 仅要考虑数据源的物理性质,还要考虑数据分析的目标。下 面介绍三种常用的装备信息管理数据采集方法:传感器 采集、系统日志采集和网络数据采集。 1)传感器采集 传感器常用于测量物理环境变量并将其转化为可读的 数字信号以待处理,通过有线或无线网络,信息被传送到数 据采集点。装备信息管理过程中产生的数据,主要来自 基站中的维修、检测、保障数据记录,这些数据大部分由传感 器根据装备所处物理环境的改变提供。除此之外还可以从 传感器测控链路中得到数据。这主要是传感器通过电磁波 向装备操控站传送大量数据,操控站进一步将数据统一进行 采集处理。 2)系统日志采集 日志是广泛使用的数据采集方法之一,由装备信息管理 数据源系统产生,以特殊的文件格式记录系统的活动。几乎 所有在数字设备上运行的装备管理系统都会通过系统日志 的方式向总平台传输实时数据。向装备管理系统反馈装备 管理最新数据的web服务器日志文件格式有三种类型:通用 日志文件格式、扩展日志文件格式和互联息服务(Inter- net Information Services,IiS)日志文件格式。所有日志文件格 式都是ASCII(American Standard Code for Information Inter— 王家其,等:基于大数据的装备信息管理应用 change,美国信息交换标准代码)文本格式。装备管理数据 库也可以用来替代文本文件存储日志信息,以提高海量日志 2.3基于大数据的装备信息管理数据分析 101 在装备更新换代和性能提升的同时,随之而来的就是对 仓库的查询效率。与物理传感器相比,日志文件可以看作是 “软件传感器”,许多装备信息管理系统实现的数据采集 软件均属于此类。 3)网络数据采集 装备信息管理方式的更高要求。准确地对装备信息管理中 产生的数据进行大数据分析,能够为指挥者提供一种更合适 的决策辅助。大数据分析(Big Data Analytics,BDA)是大数 据理念与方法的核心,是指对海量类型多样、增长快速、内容 真实的数据(即大数据)进行分析,从中找出可以帮助决策的 网络数据采集是指利用网络爬虫技术(按照一定规则自 动抓取网络信息的程序或脚本)实现有针对性、行业性、精确 隐藏模式、未知的相关关系以及其他有用信息的过程” 。 大数据分析包括可视化分析、数据挖掘算法、预测性分析能 力、数据质量和数据管理、语义引擎等五个方面。 可视化分析是对数据进行关联分析并做出分析图表,使 性的装备信息管理数据抓取。在装备信息管理中,通过 网络爬虫从内部网页上抓取内容,并抽取出需要的装备 信息管理数据,再为爬虫提供需要抓取装备信息管理数据网 络的统一资源定位符(Uniform Resource Locator,URL),最后 数据直接的展现在用户面前;数据挖掘、是从数据中提取隐 根据爬虫抓取的数据进行处理。 含在其中的、人们事先不知道的、但又潜藏有用的信息和知 2.2基于大数据的装备信息管理数据的存储 识的过程;预测性分析能力是指应用统计学方法,如建立预 数据存储是指数据源及数据流在加工过程中产生的临 测模型、机器学习等手段,根据可视化分析和数据挖掘的结 时文件或需要查找信息的存储。在以大数据为平台的 果来对未来发展进行预测的手段;数据质量和数据管理是在 装备信息管理过程中时刻都在产生大量的复杂数据,装 管理方面的实践,通过标准化的流程和工具对数据进行管 备数据仓库时刻在记录各种多源异构数据,装备维修保障部 理,能够提升数据质量,保证后续高效的数据挖掘;语义引擎 门也在不停存储大量的保障维修数据。针对装备信息管理 指的是对用户的查询关键字进行处理,引申语义含义从而更 过程中数据的多样性、数量大、增长快等特点,基于大数据 加准确、全面的实现用户的检索。 Hadoop平台建立装备信息管理的存储系统成为一项新的研 数据挖掘技术应用于装备信息管理中是比较符合 究内容。 我军当前发展现状的,其中最主要的应用之一就是关联规则 Hadoop平台是Apache基金会推进的开源式项目Ⅲ 。 分析。关联规则是用来展现事物或数据之间所存在关系的 Hadoop可以部署在大规模的廉价硬件集群上,特别适合于 规则 “ 。 大规模数据的存储与分析处理,其三大核心部件是分布式文 关联规则分析经常使用的是Apriori算法,但Apriori算 件系统(Hadoop Distirbuted File System,HDFS)、Map/Reduce 法在面对当今装备信息管理数据结构多元化、数据量剧 编程模式 、分布式数据库系统HBase。Hadoop平台的 增的情况下却很难实现快速高效的数据挖掘。于是提出对 HDFS,可以实现计算节点上的数据存储,从而实现对数据的 Apriori算法进行改进,包括MRApriori算法、MRApriori—x算 高吞吐率。在此主要对装备信息管理过程中产生的结 法和MCMApriori算法。大量实验数据显示:在数据规模或 构化数据与非结构化数据在Hadoop上的存储过程进行 支持度相同情况下,三个算法中MCMApriori算法的表现最 分析。 为突出。 1)结构化数据的存储 MCMApriori算法关键技术在于在进行数据挖掘过程中, 结构化数据又称行数据,是由二维表结构来逻辑表达和 只进行两次Map/reduce运算,不同于MRApriori算法需要进 实现的数据。在装备信息管理过程中结构化数据主要 行多次Map/reduce运算,真正实现了快速、高效的数据 是指地理环境、电磁环境、气象条件等数据。 挖掘。 装备信息管理过程中的结构化数据存储采用基于SQL 利用MCMApriori算法对数据进行挖掘可以分为以下 —Server2014的Microsoft存储软件,与Hadoop系统协作构建 步骤: 存储系统,共同搭建数据仓库,将数据存放至指定名称的新 1)将采集到与装备管理相关的数据导人至Hadoop的 建数据库中,连接原有数据与新建数据库完成数据存储。 Hive中,对数据进行清洗,将格式错误、不一致、不完整的数 2)非结构化数据的存储 据删除。 非结构化数据是指数据结构不规则或不完整,没有预定 2)将清洗好的数据存放在Hadoop中的HDFS分布式文 义的数据模型,不方便用数据库二维逻辑表来表现的数据。 件系统,设置文件读取的目标路径,对数据进行分割切片,传 在装备信息管理过程中非结构化数据主要指传感器收 递给每个Map节点。 集到的视频、图像等数据。装备信息管理过程中的非结构化 3)设置最小支持度(支持度:A工作、B工作同时存在 数据是以文件的方式存储在HDFS中,同时将指向文件的链 于T任务的概率)和置信度阈值(置信度:B工作在所有任务 路或路径存储到建立在HDFS分布式文件系统之上的HBase 中出现的概率),然后参照MCMApriori算法进行数据挖掘。 数据库中。 装备信息管理中利用MCMApriori算法进行数据挖掘, 通过以上的一系列处理,将装备信息管理数据按种 首先将采集的数据进行清洗,将不需要的数据删除,再存放 类进行存储,方便进行下一步的数据分析。 进HDFS中。数据挖掘时,根据需要设置好参数,再采用 102 MCMApfiofi算法进行数据挖掘。 兵器装备工程学报http://scbg.qks.equt.edu.cn/ [3] 王少波,王伟.军事物联网战地装备安全监管体系及其 应用构建[J].物联网技术,2016(10):47-51. [4] 刘凯,孙俊峰.信息化条件下装备管理教学训练系 3 基于大数据的装备信息管理发展 趋势 装备信息管理的发展是在提升数据处理速度、新技 术的应用、优化系统体验上全方位的发展。 1)云计算将渗入到装备信息处理的每一个阶段。云计 算是指通过网络按需获得资源或服务的数据处理和共享技 术。受大数据时代发展影响,数据的发展规模日渐增大,给 数据挖掘工作带来了巨大挑战,为了更好地发挥数据挖掘优 势,必须提高大规模数据计算能力 。从现实上看,因为缺 少统一的标准,各部门自身需要而建立了大量装备信息管理 系统很难满足一体化联合作战信息互联互通的需要。目前, 云计算技术在商业领域已经取得了巨大成就,但在我军装备 信息管理中的应用尚处于探索阶段,云计算的深入应用将在 未来装备信息管理中得到快速发展。 2)可视化技术将带动装备信息管理发展。可视化技术 是指将数据中的各个属性值以数据的形式表示,使数据 能从不同的维度观察。装备信息管理依托于“全资可视化” 平台,用数据引导物资、技术,保证二者适时、适地、高质发挥 作用,实现对装备快捷、准确的决策支持系统。 3)智能辅助决策系统将提高装备信息管理效益。 智能辅助决策系统面向装备信息管理高层决策者,屏蔽 了技术细节和频繁操作。在未来的装备信息管理过程 中,决策者可以按自己需要设置页面的显示内容和展现布 局,将自己关心的装备信息管理数据筛选提炼出来,形 成更精确的决策依据,从而提高装备信息管理效益。 总之,伴随我军信息化装备的逐渐列装,联合作战演习 的大规模进行,武器装备的频繁动用,装备信息必然成为部 队重要战略资源,未来谁能掌握大数据技术,做到充分利用 数据,谁就将夺得战场的主动权。 参考文献: [1] 胡利民.装备训练学[M].北京:国防工业出版社,2004. [2] 于洪敏.装备管理教程[M].北京:国防工业出版 社,2014. 统功能设计分析[J].电子技术与软件工程,2014, (16):103. [5] 胡茹.浅谈大数据应用现状及发展趋势[J】.科技论坛, 2014(32):19. [6] 赵跃.无人机飞行数据综合管理与分析系统研究[D]. 南京:南京航空航天大学,2012,30. [7] 海建和,译薛,菲校.大数据管理与智能分析[J].通信与 计算技术,2015,(35)1:33—37. [8] 王晓慧,王康.大数据背景下智慧城市建设研究现状与 趋势的可视化分析[J].电子商务,2017(6):26—27 +33. [9]EXECUTIVE O O T P.Big Data Across the Federal Govern— ment[EB/OL].[2014—03~21].http://www.whitehouse. gov/sites/defauh/files/microsites/ostp/big—-data--fact--sheet-- ifna1.1. [10]*.国防和建设重要论述读本:第6卷[M].北 京:出版社,2016. [11]Dhruba Boahakur.HDPS architecture guide[EB/OL]. [2013—1 1—23].http://hadoop.apache.org/docs/r1.0. 4/hdfs_design. [12]谢光.基于MapReduce的云数据挖掘模型的设计与实现 [J].网络安全技术与应用,2017(6):62—63+71. [13]张春磊,杨小牛.大数据分析(BDA)及其在情报领域的 应用[J].中国电子科学研究院学报,2013,8(1):18 ~22. [14]王枭翔.基于相关兴趣度的关联规则挖掘[D].兰州:兰 州交通大学,2013. [15]邓仲华,刘伟伟,陆颖隽.基于云计算的大数据挖掘内涵 及解决方案研究[J].情报理论与实践,2015(7):103 —108. [16]杨飞,于洪敏,吕耀平.基于物联网的装备信息共享 需求分析[J].兵工自动化,2016(7):89—92. (责任编辑唐定国)