科研平台名称：河北省计算机视觉智能检测技术创新中心
基本信息：
河北省计算机视觉智能检测技术创新中心成立于2021年8月，由河北省科技厅主管，中心依托单位为北华航天工业学院，共建单位为河北省讯飞人工智能研究院和廊坊中油朗威工程项目管理有限责任公司，中心固定人员 41人，其中教授2人，副教授16人，高级工程师3人，博士研究生13人。
本中心致力于将计算机视觉和人工智能深度学习技术结合赋能智能制造工业检测领域，重点解决计算机视觉、深度学习在产品质量检测应用中的技术难点，突破和掌握前沿核心技术，开发具有自主知识产权的原创性技术平台。
研究方向：1.基于计算机视觉的产品质量检测关键技术
2.产品缺陷分析与工艺优化研究
3.计算机视觉智能检测技术应用
科研设备：
一、曙光大数据计算平台
中科曙光I9000系统主要用于大数据的分析和处理，其中包括协同计算控制系统，协同计算并行信息总线系统，协同计算并行数据库系统，协同套计算套角色认证系统，协同计算应用仓库，协同计算应用程序运行控制系统，大数据集群监控系统，大数据应用开发平台，大数据挖掘平台和行业大数据实战系统。
研究成果：
一、成果名称：基于深度学习的农作物果实分拣平台
成果简介：本系统采用计算机视觉技术结合深度学习技术实现了农作物果实分拣系统，主要用于农业生产过程中对果实类产品按质量等级分拣，尤其是残次品的识别，可以应用于多个种类农产品，比如：花生、大枣、板栗等。整个系统包括：喂料系统、传送装置、检测识别控制单元、分拣控制装置。
整个分拣系统核心是计算机视觉检测识别控制单元，决定了整个系统分拣的准确程度和速度，该单元主要由深度学习训练和生产识别阶段两部分组成，训练阶段确定神经网络的结构和参数训练，生产阶段将神经网络模型和分拣传送系统结合共同完成分拣任务。目前该系统已经成功应用于对大枣、花生的识别，识别的准确度达到95%，速度可以到每秒钟处理320个产品。
成果图片：
成果负责人：金大兵
二、成果名称：基于深度学习的地质影像断层自动识别研究
成果简介：断层识别在矿产地质学、地质构造学、资源预测学等有关地球内部构造的科学研究中有广泛的应用。比如，断层附近容易富集大量如石油，天然气等重要储层；活动性断层是天然地震的重要内力因素；表层断层构造是工程建设、水利建设前期勘查的重要地质结构。基于深度学习的地质影像断层自动识别，可以有效缓解专家手动标注工作压力。本项目研究基于Vision Transformer的断层识别算法，与CNN模型相比，Vision Transformer模型具有更强的抗噪性和模型预测精度，更适合应用在真实领域数据。
基于Vision Transformer的断层识别模型
模型预测结果 专家标注结果
成果负责人：王静
三、成果名称：基于3D卷积和视觉Transformer的唇语识别方法研究
成果简介：唇语识别在人机交互、监控安防和视听语音识别等领域都有广泛的应用前景与价值。本项目的重点是构建一种高精度、高鲁棒性和轻量化的唇语识别算法。唇语识别需要处理连续视频帧的信息，需要考虑相邻图像之间的相关信息和远距离图像之间的相关信息。此外，唇语识别主要关注嘴唇及其周围环境的细微变化，需要提取小尺寸图像的细微特征。为了提高唇语识别的性能，本项目提出了一种基于3D卷积和视觉transformer (3D convolution and visual transformer, 3DCvT)的唇语识别方法，该方法将视觉transformer和3D卷积结合起来提取连续图像的时空特征信息，并充分利用卷积和transformer的特性有效地提取连续图像的局部和全局特征。然后将提取的特征发送到双向门控循环单元(BiGRU)进行序列建模。通过使用数据增强、标签平滑和单词边界信息等技术，可以大幅提高模型的准确性和稳定性。在大规模公共唇语识别数据集LRW和LRW-1000上，验证了本项目提出模型的有效性。实验结果表明，本项目提出的方法能够在两种数据集上达到88.5%和57.5%的识别准确率，有效提高了识别精度。
唇语识别模型3DCvT总体架构及识别效果
成果负责人：王慧娟
四、成果名称：河北鸭梨分级智能识别系统
成果简介：鸭梨作为河北省的名优水果之一，不管是作为直接食用的鲜果，还是用作进一步深加工的原材料，其品质的检测是流入市场之前的一个重要环节。目前鸭梨品质的检测大部分依赖于人工，检测效率不高，鸭梨的品质难以保证，因此本项目设计开发了一套无损的、自动的鸭梨分级系统。本项目采用YOLO网络作为鸭梨检测和鸭梨表面瑕疵检测的模型，分别在自制的鸭梨数据集上进行训练，得到鸭梨检测模型和鸭梨表面瑕疵检测模型，调用这两个模型进行图像检测，按照鸭梨表面瑕疵的类型和数量判断等级，使用OpenCV对图像进行处理，在图像上框出目标并显示其等级。
成果负责人：陈宪
五、成果名称：基于AGV的现代智能仓储系统
本项目与廊坊极特科技有限公司合作开发基于AGV的现代智能仓储系统，将大模型应用于AGV路径规划，通过精准算法，有效提升了AGV在物流环境中的路径规划性能，使其具备更强的环境适应性和运行效率，适合大规模、高动态性的物流环境。我团队与廊坊极特科技有限公司多年来紧密合作，实现了以轨道穿梭车作为承载平台、以智能仓储设计及管理优化算法为核心、结合仓储管理软件的智能仓储系统解决方案，产品已在美国、英国、南非等多地成功交付使用。多年来，在产品更新过程中，我团队负责的AGV路径规划算法更新及优化，项目提出的大模型的AGV路径规划方案能实现多辆AGV同时动态调度，为提升仓储系统的运行效率、实现物流仓储行业智能化升级提供助力。
成果负责人：王慧娟
六、成果名称：智慧教室图像智能识别系统
智慧教室的实际管理过程中，为了准确统计出教室内人数是一件费时费力的事，例如在课堂上统计出勤人数，一个个点名十分占用课堂时间，人员密集时人工数数也有很大难度，因此运用AI图像识别技术，基于本地端部署的图像识别解决方案实现实时的人数统计有很大的应用需求。
本项目采用深度学习图像识别技术实现智慧教室人员智能识别，实现出勤率监控自动统计到课学生数量，提供出勤率数据支持，在紧急情况下，快速了解教室内的人数，确保所有人员安全，同时根据教室实际使用情况，优化课程安排和空间利用。本项目结合大数据统计分析，真正实现校园业务一体化，探索物联网智慧教学融合平台+智慧教室建设新模式，加快推进学校教学信息化、智慧化，提升教学服务质量。
成果负责人：金大兵