近日,学院李刚教授团队“数据科学与智能决策”在人工智能安全领域迎来重要研究突破。团队特聘副教授秦思萌作为核心作者参与的研究成果“Semantic-Aligned Adversarial Evolution Triangle for High-Transferability Vision-Language Attack”成功发表在人工智能顶级期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI)上。秦思萌博士在论文构思设计、理论建模、实验设计、论文初稿、修改稿撰写中均发挥了关键作用,不仅参与研究的设计工作,完成对抗演化理论的建模与结果分析,并在多模态对抗空间的语义表达上提出了重要见解,同时全程负责实验设计、稿件撰写及多轮修订工作,为论文的学术深度与技术创新贡献良多。该论文聚焦于多模态大模型的安全性研究,旨在提升图文预训练模型(VLP)对抗样本的跨模型迁移能力。相关成果已直接应用于秦皇岛市金融风险智能预警与防控市级重点实验室的实践体系,为区域金融安全屏障构建提供关键技术支撑。
摘要:
随着图文大模型在图像理解、跨模态推理等任务中广泛应用,其鲁棒性与安全性问题也日益受到关注。多模态对抗攻击作为评估模型可靠性的核心手段,当前方法在对抗样本迁移性方面仍存在显著瓶颈。对此,该文创新性地提出对抗演化三角结构(Adversarial Evolution Triangle),通过融合干净图像、历史样本与当前扰动样本,提升对抗样本的多样性,从而增强其在不同模型间的迁移能力。进一步地,论文引入语义对齐特征子空间,显著缓解了特征空间中非语义冗余维度对相似性计算的干扰,有效提升了攻击的通用性与稳定性。本研究在多个数据集(包括Flickr30K、MSCOCO等)和主流VLP模型(如BLIP、ALBEF、CLIP)上开展了全面实验,所提出方法在迁移攻击成功率方面显著优于现有最先进对抗攻击方法,验证了方法的有效性与通用性。https://ieeexplore.ieee.org/document/11045302
IEEE TPAMI是中国计算机学会认定的人工智能领域A类顶级期刊之一,在全球范围内享有极高声誉,涵盖人工智能、计算机视觉、模式识别等多个核心方向,五年平均影响因子达到26.7,h5-index高达165,年录用率仅约200篇,具有极高的学术含金量。该研究成果不仅为多模态模型的鲁棒性分析提供了理论支撑和技术路径,也为构建更安全可信的大模型系统奠定了重要基础。相关算法代码与实验数据已同步开源,进一步推动了该领域的学术交流与技术落地。
秦思萌,东北大学秦皇岛分校特聘副教授,河北省"冀青之星"典型人物,秦皇岛市金融风险智能预警与防控市级重点实验室学术带头人,研究方向为金融风险、可信人工智能、社交计算、大语言模型。主研国家自然科学基金面上项目2项,国家社会科学基金一般项目2项,教育部人文社科基金规划项目1项,河北省自然科学基金面上项目1项,省级其他项目4项。相关成果发表在TPAMI、ACM MM、HICSS、《Humanities and Social Sciences Communications》《Information Processing and Management》《中国管理科学》等CCF-A会议和国内外权威期刊。
该研究工作获得国家自然科学基金(71971051,72371067)资助。