如果一句话总结，那就是炼丹半自动化了！！！
其实本文的主要点是为所有的AI炼丹师提出了一个大一统的图像训练方案，称为USI。USI结合知识蒸馏可以做到在不同的模型训练过程中不需要超参数调优（AI炼丹师，危！！！），同时能够达到SOTA效果。
可能你会想，那么多超参数，怎么可能？是的，USI做到了，USI不仅可以对于Batch-size的大小设定很鲁棒，做到几乎没有影响；同时对于不同的教师模型很鲁棒；甚至对于教师模型的前传还进行了优化融合，进一步加快训练的速度，等等，话不多说，还是去看正文部分吧！
开源
转载请注明：http://www.0431gb208.com/sjszlff/517.html
