Spark集群下基于关联规则的产品加工质量分析Product Processing Quality Analysis Using Association Rules in Spark Cluster
李卓航,荀亚玲,薛晓鹏,李元庆
摘要(Abstract):
工业大数据的有效应用成为支撑企业转型升级的强力引擎。利用关联规则可以从海量产品加工过程质量数据中发掘加工工序质量参数之间的隐含相关性,如果能对具有相关性的上游质量指标进行及时有效的监控和调整,将有效地减少质量指标之间的误差传播、耦合与积累对各工序质量监控点配置决策的影响。针对传统的关联规则挖掘时空复杂度和I/O代价高,难以适应大数据处理的问题,以及传统Hadoop分布式平台的计算和数据管理方式导致的高数据频繁读写代价,提出了一种基于Spark计算平台的并行频繁项集挖掘HBPFP(High Balanced parallel Fp-Growth)算法,该算法利用新定义的节点计算量预估模型,实现了各计算节点间计算任务的均衡分组,从而有效地提高了集群资源利用率;并在详细分析产品工艺流程和质量管理特点的基础上,构建了基于关联规则的加工质量控制模型;最后以冷轧辊生产加工过程为应用案例,设计与实现了基于关联规则的冷轧辊加工质量分析原型系统,为制造企业在大数据时代实现全面质量控制和管理,提供了新的解决途径和决策支持手段。
关键词(KeyWords): 关联规则;质量控制;工业大数据;Spark集群
基金项目(Foundation): 国家青年科学基金项目(61602335);; 太原科技大学博士科研启动基金项目(20172017);太原科技大学国家级大学生创新创业训练计划项目(2019341)
作者(Author): 李卓航,荀亚玲,薛晓鹏,李元庆
参考文献(References):
- [1] CHU Y,YOU F.Integrated planning,scheduling,and dynamic optimization for batch processes:MINLP model formulation and efficient solution methods via surrogate modeling[J].Industrial & Engineering Chemistry Research,2014,53(34):13391-13411.
- [2] OBEIDAT B Y,HASHEM L,ALANSARI I,et al.The effect of knowledge management uses on total quality management practices:a theoretical perspective[J].Journal of Management and strategy,2016,7(4):18-29.
- [3] 周济.智能制造——“中国制造 2025” 的主攻方向[J].中国机械工程,2015,26(17):2273-2284.
- [4] ZHONG R Y,XU C,CHEN C,et al.Big data analytics for physical internet-based intelligent manufacturing shop floors[J].International journal of production research,2017,55(9):2610-2621.
- [5] 桑渊博,曾建潮.面向分布式计算的混合维度微粒群算法[J].太原科技大学学报,2019,40(1):13-18.
- [6] CHEN F,DENG P,WAN J,et al.Data mining for the internet of things:literature review and challenges[J].International Journal of Distributed Sensor Networks,2015,11(8):431047.
- [7] ZAHARIA M,XIN R S,WENDELL P,et al.Apache spark:a unified engine for big data processing[J].Communications of the ACM,2016,59(11):56-65.
- [8] XU Y,CHEN G,ZHENG J.An integrated solution—KAGFM for mass customization in customer-oriented product design under cloud manufacturing environment[J].The International Journal of Advanced Manufacturing Technology,2016,84(1-4):85-101.
- [9] ZHANG Y,JIAO J.An associative classification-based recommendation system for personalization in B2C e-commerce applications[J].Expert Systems with Applications,2007,33(2):357-367.
- [10] COHEN J F,OLSEN K.Knowledge management capabilities and firm performance:A test of universalistic,contingency and complementarity perspectives[J].Expert Systems with Applications,2015,42(3):1178-1188.
- [11] 孙广建,王华,顾凌韬.基于数据挖掘的企业质量信息流管理系统的实现[J].机械设计与制造,2007(7):201-203.
- [12] 段桂江,严懿,王洋.基于数据挖掘的质量成本分析与控制[J].计算机集成制造系统,2013,19(7):1692-1703.
- [13] Agard B.Data mining for improvement of product quality[J].International Journal of Production Research,2006,44(18-19):4027-4041.
- [14] 郭钧.整车制造企业生产过程质量控制及评价方法研究[D].武汉:武汉理工大学,2012.
- [15] 谭军.面向产品持续质量控制的数据挖掘技术与应用研究[D].长沙:中南大学,2013.
- [16] 璩晶磊,李少波,陈金坤.基于质量数据融合及规则挖掘的离散制造过程监控方法[J].计算机集成制造系统,2017,23(9):1962-1971.
- [17] ZHOU L,ZHONG Z,CHANG J,et al.Balanced parallel FP-Growth with MapReduce[C]//Information Computing and Telecommunications(YC-ICT),2010 IEEE Youth Conference on IEEE,2010:243-246.