赣州市科技成果转化中心稀土新材料及应用分中心

赣州市科技成果转化中心钨新材料及应用分中心

技术供给 详情页
一种基于注意力校正特征与边界约束的知识蒸馏方法及系统
型:新技术
业:新能源材料产业
度:初创成果
方: 江西理工大学
地:江西/赣州
绍:请登录后查看
式:请登录后查看
技术摘要
本申请提出一种基于注意力校正特征与边界约束的知识蒸馏方法及系统,方法包括注意力校正特征蒸馏法和边界约束蒸馏法,其中,注意力校正特征蒸馏法主要为:
成果介绍

本申请提出一种基于注意力校正特征与边界约束的知识蒸馏方法及系统,方法包括注意力校正特征蒸馏法和边界约束蒸馏法,其中,注意力校正特征蒸馏法主要为:在教师中不引入辅助模块的情况下,利用校正因子蒸馏赋予学生的注意力校正因子以模仿教师的残差校正因子的能力,利用基于注意力的特征蒸馏通过模仿教师的残差校正特征来引导学生学习注意力校正特征;边界约束蒸馏法主要是将硬边界蒸馏和软边界蒸馏进行结合。本申请能够解决现有技术中,通过向教师引入辅助模块或者采用硬边界蒸馏方法难以得到一个轻量级的图像分割学生模型,并且所述两种方法训练得到的学生模型的性能和精度不足的问题。

登录后查看更多信息
登录查看