本发明公开了融合语音与微表情的多模态情感识别方法及系统，涉及情况识别技术领域，其技术方案要点是：建立微表情数据库；建立语音情感数据库与情感关联函数；同时获取同一目标对象的语音信息和脸部图像信息，并提取情感表征词汇和微表情数据；根据匹配结果获取情感关联函数以及对应微表情的情绪波动值；建立情感识别网，并逐级分解后得到多个情感识别线路；获取相应的情绪波动值，并建立情绪识别曲线；情感波动度计算后根据预设波动度选择合格的情感识别线路。本发明增强了语音信息、脸部图像信息表征目标对象实时情感的真实性，同时降低了同一情况体现不同情况的概率，既提高情感识别结果的准确度，又降低了情感识别结果的误差。
