基于Hadoop的大规模图像数据处理Large-Scale Image Data Processing Based on Hadoop
焦秀华,刘立群,刘春霞
摘要(Abstract)：
为了分析高速增长的海量输电杆塔检测数据,提出了分布式环境下基于梯度方向直方图特征的径向基核支持向量机鸟巢检测法。图像采集系统采集输电线路杆塔鸟巢图像,对图片进行灰度化处理,仿射变换实现空间变换;支持向量机(SVM)提取图像正负样本的特征并建立分类边界,构建速识别待测分类数据;将图像的HOG特征写入txt文件,作为HADOOP的处理对象,进行海量数据的并行化处理。实验结果表明:分类正确率为88. 2%,6节点集群运行时间为单机时间的64. 9%.
关键词(KeyWords)： 大数据;非结构化数据;支持向量机;HADOOP
基金项目(Foundation): 山西省重点研发计划(高新)(201803D121106);; 山西省应用基础研究计划(201901D111252);; 太原科技大学教学改革创新项目(JG201913);太原科技大学大学生创新创业训练计划(XJ2019020)
作者(Author): 焦秀华,刘立群,刘春霞
参考文献(References)：
- [1]王守鹏，赵冬梅．电网故障诊断的研究综述与前景展望[J]．电力系统自动化，2017,41(8):1-12.
- [2]陈小志．输电线路鸟害预警模型及系统的设计与实现[D]．成都:电子科技大学，2014.
- [3]刘高，曾懿辉．嵌入式视频和图像识别技术在架空输电线路智能监控中的应用研究[J]．计算机系统应用，2013,22(11)58-61.
- [4]李志鹏．基于大数据分析的输电线路管理系统及故障诊断研究[D]．武汉:湖北工业大学，2015.
- [5] TAN H,MA Z,YANG B. Face recognition based on the fusion of global and local HOG features of face images[J]. Iet Computer Visinon,2014,8(3):224-234.
- [6]高峰，刘广一，SAUNDERS Chris，等．智能电网大数据的分析与应用[J]．电力建设，2015,36(10):11-19.
- [7] HOSANG J,BENENSON R,DOLLAR P,et al. What makes for effective detection proposals[J]. IEEE Transactions on Pattern Analysis&Machine Intelligence,2016,38(4):814.
- [8]李星，郭晓松，郭君斌．基于HOG特征和SVM的前向车辆识别方法[J]．计算机科学，2013,40(11A):329-332.
- [9]丁朋．凸优化在大规模机器学习中的应用[D]．上海:华东理工大学，2010.
- [10]段旺旺，唐鹏，金炜东，等．基于关键区域HOG特征的铁路接触网鸟巢检测[J]．中国铁路，2015(8):73-77.
- [11]师飘．输电线路上鸟巢的检测算法研究[D]．北京:北京交通大学，2017.
- [12]王旭凤．基于可加性核的快速支持向量机分类算法的研究[D]．西安:西安电子科技大学，2017.
- [13]李航．统计学习方法[M]．北京:清华大学出版社，2012.
- [14]王桢．基于视频图像处理技术的输电线路杆塔鸟巢识别[D]．北京:华北电力大学，2013.
- [15] ALEXANDRA L’HEUREUX,KATARINA GROLINGER,et al. Machine learning With Big Data:Challenges and Approaches[J]. IEEE Acess,2017,5:7776-7797.
- [16] CHEN J,CHEN H,WAN X,et al. MR-ELM:a Mapreduce-based framework for large-scale ELM training in big data era[J].Netural computing&Application,2016,27(1):101-110.