收录于话题
近年来,基于数据安全与隐私问题,无数据场景下的知识蒸馏方法获得了越来越多的关注。然而,现有方法侧重于恢复原始数据,忽略了生成样本对于学生模型的适应性,在涉及老师-学生网络模型存在较大差异的情况下,仍然面临着诸多挑战。在本期SPP报告中,我们通过以下几个问题介绍关于知识蒸馏的差异性研究:老师学生模型差异性的原因以及何时会影响学生的性能?如何衡量老师学生间的差异性?立足无数据量化任务,通过泛化误差分析,深入研究孤立学生模型所导致的欠拟合、过拟合问题。围绕生成样本的适应性,首次提出零和博弈观点进而分析无数据量化,解决了模型差异性问题,同时为生成样本构建上下边界,通过边缘优化,在无数据蒸馏过程中实现理想样本的生成。欢迎关注本期SPP:11月20日(本周三)19:30—21:00。
本期直播你将收获哪些
演讲嘉宾
王杨
合肥工业大计算机与信息学院教授
王杨,合肥工业大计算机与信息学院教授,斛兵学者,博士生导师。入选中组部国家高层次人才特殊支持计划青年拔尖人才,安徽省高层次人才计划,安徽省领军人才。IEEE 高级会员,主持国家自然科学基金区域联合基金重点项目,面上项目等。担任ACM Transactions on Information systems(ACM TOIS, CCF Rank A)副编。在人工智能,模式识别和多媒体计算领域发表论文100篇,其中CCF A类论文50篇,ESI高被引论文9篇,发表源包括 IEEE TPAMI, AI Journal (Elsevier), IJCV, IEEE TIP, CVPR, KDD, ECCV, SIGIR, AAAI, IJCAI, ACM Multimedia, ACM TOIS, ACM TKDD, IEEE TKDE, Machine Learning (Springer), VLDB Journal, Science China Information Sciences (中国科学:信息科学)。两篇论文入选IJCAI 最有影响力论文之一,连续4年入选斯坦福大学人工智能与图像处理领域Top 2%科学家。担任国家自然科学基金委员会 海外优青,面上项目,地区基金项目评审专家。谷歌学术引用6500+,H-因子40。
开课时间
2024年11月20日(本周三)19:30-21:00
如何报名
SPP为免费直播。点击“阅读原文”立即报名,报名可在活动当天15:00前邮件获取到腾讯直播间链接,可与老师线上即时交流,也可通过预约文末CCF视频号观看活动直播。希望能通过这样的方式和你一起进步、成长。呼朋唤友来参加吧!
CCF推荐
【精品文章】
点击“阅读原文”,立即报名。