主要研究方向为机器视觉、机器学习、深度学习、模式识别。包括：
· 视听事件理解（Audio-Visual Event Understanding and Parsing）
· 跨模态理解与推理（Cross-modal Understanding and Reasoning）
· 视觉情绪理解（Visual Emotion Captioning and Explaination)
· 时序动作识别与检测（Action Recogintion and Detection）
· 视觉手语识别与翻译（Vison-based Sign Language Recognition and Translation）
· 视觉生理信号检测（Vision-based Physiological Measurement)
特色研究
· 视觉情感计算: 非接触式生理信号检测、微动作识别、情绪理解
· 视觉手语机器翻译：手语识别、翻译与生成
· 视听语义解析及定位：视听事件分类、解析与定位