新闻网讯 近日,电信学院2025级博士生李煦蕤为第一作者、周瑜教授为通讯作者的研究论文MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples,被人工智能与模式识别领域国际权威期刊IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI,影响因子18.6)正式接收。这是我校首次在TPAMI上发布工业视觉方向的学术成果,实现了“人工智能+制造”交叉研究领域的又一重要突破。该研究针对多模态零样本工业缺陷检测关键行业难题,提出了革新性技术框架,从本质上解决了柔性制造产线中视觉缺陷检测模型迁移难的行业痛点,且像素级分割精度相比当前国际最优方法可提升23.7%。
近年来,工业智能化转型正进入深水区。工业和信息化部等八部门在《“人工智能+制造”专项行动实施意见》中明确提出,要在质量检测与缺陷识别等环节推广应用“机器视觉等工业质检技术”。当前,“多品种、小批量”生产已成为柔性制造的主要特点,快速换产迭代为企业按需生产、降低库存压力、最大化产线利用效率提供了重要支撑,但也为工业产品质量检验带来了前所未有的挑战,在高达98%的生产良率条件下,产品缺陷检测等同于大海捞针,现有监督式训练模式下,缺陷样本的搜集和标注成为了重要瓶颈。同时,工业缺陷样本又具备表观随机性、形状随机性、位置随机性,使得利用历史缺陷样本训练得到的模型无法用于跨产线缺陷检测,这些难题显著阻碍了我国先进制造行业的快速发展。零样本工业缺陷检测作为应对柔性制造中快速换产的关键技术,对提升质检效率、降低对标注数据依赖具有重要意义。然而,现有零样本检测方法的精度与可靠性仍难以满足高端制造对质量控制的严苛要求。

为此,研究团队深度探究产线生产规律与缺陷样本的基本视觉特点,在国际上首次发现并利用了隐含于测试样本间内蕴的关键视觉性质,创新性地提出了基于互打分(Mutual Scoring)机制的多模态零样本工业缺陷检测框架MuSc-V2。该方法通过引入迭代点云采样模块,有效抑制点云数据在物体不连续表面区域引起的正常区域误检,增强三维表达的鲁棒性。设计多尺度相似邻域聚合,实现对不同尺寸缺陷的适应性建模,并增强特征对微小缺陷的敏感性。提出多模态互打分,通过无标签样本间相互打分,充分挖掘并建模了测试集内蕴的正常样本/缺陷样本判决性质,通过引入跨模态缺陷增强策略,作为单模态判断的有效补充,显著降低漏检率。该技术无需训练、无需提示,针对高频切换生产环境,均可实现“换产即上线,上线即检出”。实验表明,MuSc-V2在多个主流的多模态工业缺陷检测基准上均达到国际领先水平,像素级分割精度提升23.7%,展现出优异的泛化能力和实用性。
李煦蕤长期深耕智能制造与工业人工智能领域,围绕零样本学习、缺陷检测、缺陷多类分类等工业质检中的关键问题开展研究,相关成果已在TPAMI、ICLR、CVPR等人工智能领域国际权威期刊及会议上发表,并在国内多家制造业领军企业实现落地应用。他曾获“华为杯”第六届中国研究生人工智能创新大赛全国一等奖、第十九届“挑战杯”全国大学生课外学术科技作品竞赛“揭榜挂帅”专项赛全国一等奖,并在CVPR 2025 Workshop“Visual Anomaly and Novelty Detection”挑战赛中荣获全球第二名。
编辑:汪伟颋
来稿审核:马国庆
审核:万霞、范千
审定发布:詹健