由于具有强大的多模态信息感知理解与自主推理能力，多模态大模型在电子商务实践中得到了越来越多的探索性应用。大模型赋能的商业模式与运营模式创新成为目前电子商务研究与实践关注的重点问题。

商品检索是用户购买决策的重要环节，对用户体验具有重要影响。目前电商平台通常采用单一模态检索方式，即针对用户输入的关键词或商品图像信息返回检索结果。这种单一模态检索方式限制了用户意图的有效表达，难以支持用户持续性、比较性的商品搜寻行为，严重降低了用户体验。

为此，学院网络空间行为与管理安徽省哲学社会科学重点实验室团队提出了一种更加灵活的组合图像检索方法。该方法以交互式检索模式允许用户同时输入一组图片和文本，其中图片作为检索参考基础，文本作为消费者修改意图的自然语言表达，检索系统接收组合查询后推理用户感兴趣的目标图片特征，进而检索最符合用户需求的产品图像。

图1模型框架

在交互式检索过程中，用户搜索意图表达的多模态形式和简略开放的语言特点对检索系统精准理解用户搜索意图和匹配带来巨大挑战。为此，团队提出了一种基于大模型增强的图文双通道匹配模型。该模型采用“大模型数据增广—双通道意图匹配—跨通道相互增强”的策略，借助大模型强大的多模态信息感知和推理能力，构建提示词生成扩展的检索三元组；分别从图像和文本两个视角推理用户不确定意图与目标产品进行匹配检索，并构建双通道相互学习策略提升表征质量。

基于真实交互式图像检索数据集的实验研究表明，所提模型的效果显著优于当前的基线方法；消融实验表明基于大模型的数据增广策略能够有效提升交互式检索性能，即使在零样本情形下也具有优异的表现；案例研究表明所提模型能够准确理解用户模糊和清晰的意图表达。研究成果为多模态大模型赋能的电商模式创新提供了新视角和新工具。

图2实验结果

相关研究成果“LLM-enhanced Composed Image Retrieval: An Intent Uncertainty-aware Linguistic-Visual Dual Channel Matching Model”（原文链接：https://dl.acm.org/doi/10.1145/3699715）在线发表于信息系统领域国际顶级期刊ACM Transactions on Information Systems（ACM TOIS，CCF A类期刊），我院研究生葛鸿飞为第一作者，青年教师袁昆为通讯作者。

（袁昆/文、图 姜元春/审核）