新闻网讯 近日,武汉光电国家研究中心郭连波教授与于源副教授合作,采用具有原位、快速、以及多元素同时检测的激光诱导击穿光谱(LIBS)技术,并融合图像处理技术,以提升中药分类的精度和效率。该研究以典型的中药材枸杞为研究对象,获取了枸杞样本的一维LIBS光谱数据和二维图像数据。面对这一异构的双模态数据,研究团队提出了一种创新的两级融合轻量网络。实验结果表明,该模型以最少的计算负担和参数,达到了99%以上的分类准确度,验证了该模型在高效性和高准确性方面的优越性,为中医药的快速检测提供一种新方法。相关工作于8月30日在线发表于计算机领域期刊《Information Fusion》,题为"Spectrum-image dual-modality fusion empowered accurate and efficient classification system for traditional Chinese medicine"。
中医药拥有几千年的悠久历史,是中国以及全球医疗体系中不可或缺的一部分。研究和开发中药材的快速检测技术,确保中药材质量和疗效,具有重要的研究价值和应用前景。采用大数据技术在中药产地检测领域发挥了广泛的应用,为中药的质量控制、临床研究、资源开发以及安全性监测提供了一种新的技术手段。然而,由于不同地方的相同药材在形状和颜色上可能非常相似,采用传统的图像处理技术进行分类的准确率较低。而利用现代化学分析技术(HPLC、TLC、UV、MS)需要专门的设备、需要对样品进行复杂的前处理,测试周期长,难以满足工业检测的实时快速和绿色检测需求。
![](/__local/F/65/7F/E05EAF3BFC9F861F886AFE8E51B_9D7D7C89_36423.jpeg)
图1.基于光谱-图像双模态的两级融合轻量网络流程图
针对枸杞的一维LIBS光谱数据和二维图像数据,面临三大主要挑战:(1)不同模态的特征表示;(2)不同模态的特征融合;(3)在确保分类精度的前提下保证网络的轻量。为了解决这些挑战,研究团队提出了两级融合轻量网络,流程图如图1所示。在网络的第一阶段,利用深度注意融合(DAF)模块中的DSC模块逐层学习堆叠的LIBS光谱数据和图像数据中的重要信息,然后通过Attention模块集中在最关键的特征上。在网络的第二阶段,与以往直接选择元素谱峰或直接对元素波形进行积分的方法不同,该研究引入了一种线到面积(LTA)模块的新方法,用于光谱特征的提取。该模块聚焦于关键元素谱线并凸显这些元素谱线的特征。与传统方法不同,LTA模块不仅考虑了元素谱峰,还考虑了元素波形的演变趋势,为一维光谱数据处理提供了全新的视角。该研究首次将轻量化的思想引入LIBS数据处理算法中。提出的两阶段融合模型的参数量为2.95M和计算量为0.24GM。对于一对LIBS-图像双模态数据,平均训练时间为0.917ms,平均测试时间为0.859ms,该模型具备较高的分类精度、较低的计算量和参数量,能够满足实时检测的要求。
该论文的第一作者为博士研究生龚奥军。郭连波和于源为共同通讯作者。研究工作得到了华中科技大学邓贤君教授的悉心指导。博士研究生夏云芝和胡桢麟作为共同作者参与相关工作。该工作得到了国家自然科学基金项目(No. 62075069)的支持。
论文链接:https://doi.org/10.1016/j.inffus.2023.101981