不完美场景下的神经网络训练方法

近几年，腾讯优图不断迭代数据和模型缺陷情况下神经网络的有效训练方法，相关技术已经在众多业务场景上（行人重识别，内容审核等）落地。本文整理自腾讯优图、腾讯云大学、AICUG和AI科技评论联合主办的「优Tech沙龙」，分享嘉宾为腾讯优图实验室高级研究员Louis。

01 定义带噪学习目标

现实数据中存在的标签噪音（label noise）根据Feature可以分成两种：Feature independent noise和 Feature dependent noise。Feature independent noise是与特征无关的，比如将一只狗的图片误标记成汽车，狗和汽车没有什么相似特征，所以属于这类。Feature independent noise是与特征有关的，比如说狗和狼具有很多相似特征属性，标注人员可能把狗误标记成狼，那就属于这类。其实现实场景更多存在都是feature dependent noise。

噪音普遍存在，所以我们需要训练神经网络进行带噪学习，并且要能实现比较好的性能。那么noise label learning的目标是设计一个loss function，使得在noisy labels下训练得到的解，在性能上接近在clean labels下训练得到的解。