海康威视与南京钢铁发布视听感知多模态AI大模型

海康威视与南京钢铁合作发布了视听感知多模态人工智能模型，以解决冶炼生产过程中的设备监测和作业安全分析问题。该技术方案主要应用于焦化、烧结、炼铁和炼钢等重工业制造领域。

冶炼行业知识数据与大模型架构融合
6月25日，由南京钢铁集团有限公司主办的“元·冶”生态智创发展大会在南京举行。在此次会议上，相关企业展示了人工智能在钢铁工业安全管理数字化转型中的技术应用。

海康威视高级副总裁徐习明指出，该视听感知多模态模型以安全生产模型为基础，整合了南京钢铁的行业运行数据构建垂类架构。模型通过视觉与音频传感器的结合，对生产现场的人员行为、设备运行状态及环境因素进行多维度的数据采集与计算，从而识别潜在的生产隐患。

光纤听诊与设备运行状态监测
在南京钢铁的2号和3号高炉及烧结厂，系统部署了光纤听诊设备与该多模态模型。此技术架构实时收集皮带托辊的音频数据，通过声学特征对比识别异常机械摩擦或故障，并自动生成预警信息。通过对异常音频特征的捕获与分析，该机制减少了人工巡视的时间成本，保障了皮带输送机硬件设备的连续稳定运行。

风险作业的视觉分析与干预机制
针对登高、动火和起重等高风险作业环境，监控系统集成了视觉感知与隐患分析算法。系统对现场操作进行实时视频流处理，以识别不符合标准规范的操作行为或环境偏差。当检测到现场参数超出设定的安全阈值时，系统向后台管理平台发送异常数据。用户在后台管理页面可直接查看异常报警的具体点位，并调取相关的图像和音频记录辅助判断，使监管人员能够依据系统数据对作业现场进行干预，降低工业事故发生的概率。

补充背景：
本节详细介绍了原始产品公告中未包含的技术规格与竞争基准

在工业安全多模态模型领域，类似的技术架构包括华为盘古制造大模型和百度文心工业模型，这些平台同样致力于通过底层算法优化工业制造环境的监测能力。此类多模态大模型的竞争基准通常通过异常识别准确率、多传感器数据融合的处理延迟以及边缘计算节点的并发处理能力来衡量。与传统的单一视觉识别监控系统相比，整合音频传感器的多模态模型在机械疲劳和轴承磨损检测方面提供了声学维度的参数验证。在缺乏声学阵列或光纤传感设备的情况下，纯视觉监控系统通常难以在设备外部结构发生明显形变前预测内部结构的机械故障。

由 Induportals 编辑 Natania Lyngdoh 编辑，在 AI 协助下完成。

www.hikvision.com