首页 > 最新动态 > 第六届网络生态治理论坛:当AI学会“自主攻击”——Agent与Mythos带来的新危机 | CNCC2026
最新动态
第六届网络生态治理论坛:当AI学会“自主攻击”——Agent与Mythos带来的新危机 | CNCC2026
2026-09-075
      




本论坛聚焦AI安全双重冲击:OpenClaw自主Agent带来越权操作、Skill污染等新型风险,Mythos模型展现自动化攻击强大能力。深入探讨叠加效应的危害成因、对传统安全范式的颠覆,以及新安全研究与应用格局的构建。





论坛简介



当前,人工智能安全领域正经历双重冲击的叠加考验。以OpenClaw为代表的自主Agent技术加速落地,在推动智能体从“思考”走向“行动”的同时,带来越权操作、Skill污染、凭证泄露、自主失控等新型风险,致使攻击入口无处不在;而以Mythos为代表的新一代模型则展现出惊人的网络安全攻防能力,在各类Harness工具加持下,自动化漏洞挖掘与利用水平持续刷新。二者叠加,正从底层重塑AI时代的安全逻辑。


然而,现有研究多将Agent应用风险与模型攻防能力割裂看待,缺乏对叠加效应的系统性认知。传统基于边界、规则和行为分析的安全范式,在面对自主Agent的复杂行为链和Mythos级智能渗透时,难以预判攻击路径,也难以区分正常操作与恶意伪装,防御响应严重滞后。同时,新型风险因子的度量、评估与治理尚未形成共识,新安全格局的构建缺乏理论指导和实践验证。


本届论坛将聚焦“智能体+Mythos”时代的安全新挑战,邀请学界与业界专家,围绕三大追问展开思辨:双重冲击及其叠加效应的危害与成因是什么?传统安全范式将遭受哪些破坏性影响,哪些底层假设需要被推翻?新的安全研究与应用格局又该如何构建,需要哪些关键技术与治理机制?论坛旨在为应对AI自主攻击时代的安全危机提供前瞻性思路。



日程安排



顺序

主题

主讲嘉宾

单位

1

端侧智能:迈向安全可控的通用智能

刘知远

清华大学

2

从数据维度探析智能体安全

胡侠

上海人工智能实验室

3

AI系统安全风险评测与治理

杨珉

复旦大学计算机科学技术学院

4

企业级安全垂域大模型的构建与应用

黄龙涛

阿里巴巴(北京)软件服务有限公司

5

从思考到行动:智能体时代的可信AI

董胤蓬

清华大学

 

Panel环节

刘知远

清华大学

胡侠

上海人工智能实验室

杨珉

复旦大学计算机科学技术学院

黄龙涛

阿里巴巴(北京)软件服务有限公司

董胤蓬

清华大学



论坛主席:




虎嵩林



CCF杰出会员,中国科学院信息工程研究所研究员

中国科学院信息工程研究所研究员,中国科学院特聘核心研究员,中国科学院大学岗位教授,国务院政府特殊津贴获得者。研究方向为自然语言处理、大模型安全。在ACL、NeurIPS等顶会发表论文百余篇,主持多项重大工程。获钱伟长中文信息处理奖一等奖、中国通信学会科技进步一等奖等。



共同主席:



杨耀东



北京大学人工智能研究院研究员(博雅学者)

北京大学人工智能研究院研究员(博雅学者),院长助理,人工智能安全与治理中心执行主任,北大-灵初具身联合实验室主任。国家级优秀青年人才。研究方向为智能体安全交互与价值对齐,涵盖强化学习、多智能体学习、具身智能。在Nature Machine Intelligence、AIJ、TPAMI等发表论文三百余篇,谷歌引用逾18,000次,CSRankings北大AI/ML首位。多次获国际最佳论文奖,入选MIT TR中国“AI100青年先锋”等。现任ICML、ICLR、NeurIPS等国际会议领域主席。



论坛讲者



刘知远



清华大学计算机系教授

清华大学计算机系教授、博士生导师。主要研究方向为大模型、自然语言处理、知识图谱。已在Nature 子刊、ACL、EMNLP等人工智能领域的著名国际期刊和会议发表相关论文300余篇,Google Scholar统计引用超过9.5万次。入选北京市青年教学名师、2020-2025连续六年Elsevier中国高被引学者、《麻省理工科技评论》中国区35岁以下科技创新35人榜单、中国科协青年人才托举工程。曾获2020年、2022年教育部自然科学一等奖,2020年、2024年中国中文信息学会钱伟长中文信息处理科学技术奖一等奖,2022年、2023年世界互联网领先科技成果奖,2025 年度“吴文俊人工智能科学技术奖”科技进步一等奖。


题目:端侧智能:迈向安全可控的通用智能


摘要:大模型规模法则受数据、算力成本约束难持续,我们最近提出的智能密度法则揭示:模型智能水平与参数量比值持续提升,2023 年以来智能密度约每 100 天翻倍。本报告梳理架构优化、高效数据治理、模型风洞、低位宽量化、软硬协同等高密度模型制备核心技术体系,介绍MiniCPM 系列端侧基座模型工程实践,论证终端硬件算力持续升级与高密度模型双向赋能的落地路径。我们研判 AI 将从云端集中计算走向分布式端侧原生智能,剖析端侧全模态、硬件原生架构的发展趋势,指明智能密度持续迭代是普惠安全可控通用智能的核心底层驱动力。

胡侠



上海人工智能实验室主任助理

国家级人才,现任上海人工智能实验室主任助理、领军科学家。他曾任美国莱斯大学正教授、数据科学中心主任,并作为联合创始人创立AIPOW公司。胡教授长期致力于人工智能算法研究,在ICLR、NeurIPS、KDD等国际顶级会议及期刊上发表论文200余篇,论文被引用次数超过45,000次。他主导开发的自动机器学习开源系统AutoKeras已成为最常用的AutoML框架之一;其提出的NCF算法及系统(单篇论文被引超10,000次)被纳入主流人工智能框架TensorFlow的官方推荐;此外,他开发的异常检测系统已在NVidia、通用电气、Trane、苹果等企业的产品中得到广泛应用。胡教授曾获ICML、MLSys、WWW、WSDM、INFORMS等会议最佳论文奖或提名,以及美国国家科学基金委杰出青年奖、KDD Rising Star Award和IEEE Atluri学者奖等荣誉。他现任ACM TIST和Big Data期刊副主编、DMKD编委,并曾担任WSDM 2020大会主席及ICHI 2023、CHASE 2025医学信息学会议大会主席。


题目:从数据维度探析智能体安全


摘要:随着人工智能模型不断借助外部工具、具备自主规划与任务执行能力,智能体正加速应用于各类真实场景,在显著提升任务执行效率的同时,也带来了安全性与可控性方面的全新挑战。一旦智能体在决策或执行过程中出现偏差,可能对现实世界造成潜在风险。


本次报告将介绍代表性的智能体系统架构,分析多工具协同对智能体可控性带来的影响,并分享团队围绕安全可控智能体开展的最新研究进展。相关工作覆盖智能体运行全流程的四个关键环节,包括用户输入安全检测、模型内生安全增强、工具调用监测以及输出结果验证,系统提升智能体的安全保障能力。基于上述研究,团队进一步提出人工智能安全发展的新范式,推动智能体系统安全能力与性能协同演进。最后,报告将结合当前智能体安全面临的关键挑战,探讨未来的发展方向与应对思路。

杨珉



复旦大学计算与智能创新学院执行院长、教授

复旦大学计算与智能创新学院执行院长、教授、博士生导师,入选国家级领军人才计划,第八届国务院学位委员会网络空间安全学科评议组成员,重点研发计划首席科学家,973项目首席科学家,国家网络安全优秀教师。先后在各类网络安全国际顶级会议和期刊上发表论文70余篇,在国内名列前茅;成果先后获得上海市决策咨询研究成果奖一等奖、上海市科学技术奖技术发明一等奖、上海市计算机学会自然科学一等奖等多个奖项。


题目:AI系统自主攻防能力评测与演进


摘要:本报告围绕AI系统自主网络攻防能力的评测、分析与演进展开。首先介绍团队在白盒漏洞验证方面的研究,系统评测智能体在代码理解、漏洞定位、PoC构造与验证等环节的能力;进一步介绍团队构建的黑盒自主攻防评测平台 AgentCyberRange,通过真实网络环境、完整攻击链任务与动态排行榜,持续刻画前沿模型和智能体的自主渗透能力。在评测基础上,介绍 CyberEvolver,从数据、模型与智能体系统等层面对能力短板进行根因分析与定向增强,探索AI攻防能力持续演进的技术路径。

黄龙涛



阿里巴巴安全AGI实验室负责人

阿里巴巴安全AGI实验室负责人,研究领域涉及安全垂域大模型的构建与应用、大模型安全等。在ACL、AAAI、IJCAI、WWW、SIGIR等人工智能领域顶级会议及期刊发表论文50余篇,Google Scholar累计引用2000余次,曾获得2022年吴文俊人工智能科技进步二等奖、入选第二届中国科协优秀科技论文遴选计划、中科院青促会。


题目:Agentic Security:企业级对抗智能的进化与突围


摘要:工业界攻防长期面临效率与泛化性不足、严重依赖专家经验与信息差的结构性困境。大模型浪潮虽带来新可能,但通用模型其内生安全能力受限且使用成本高昂,难以稳定高效地胜任专业攻防任务。本报告分享企业在安全领域Agent"模型 + Harness"双层架构上的设计与实践:模型层构建安全领域大模型,在严格受控前提下系统性增强攻防专业能力;Harness层构建领域化Agent工程体系,融合领域记忆、深度安全工具与攻防策略编码,实现能力在真实对抗中的可靠闭环。在此基础上,进一步探讨以对抗驱动智能进化的路径,推动攻防智能从辅助专家走向可控的机器自主对抗。

董胤蓬



清华大学人工智能学院助理教授

清华大学人工智能学院助理教授。主要研究方向为机器学习、人工智能安全,在TPAMI、IJCV、CVPR、NeurIPS等期刊和会议上发表论文60余篇,谷歌学术引用17000余次,担任ICLR、ICML、NeurIPS领域主席。曾入选北京市科技新星、CCF优秀博士学位论文、微软学者奖学金、字节奖学金等,连续4年入选全球前2%顶尖科学家榜单。


题目:从思考到行动:智能体时代的可信AI


摘要:近年来,大语言模型的能力形态正在快速变化,从生成回复逐步走向显式推理、工具使用和自主行动。可信AI不再只关注最终输出是否安全、真实或无偏,而逐渐成为一个贯穿模型思考、决策和行动全过程的问题。围绕这一变化,本报告将沿着“回复-推理-行动-自主性”的演进,介绍我们近期在智能体时代可信 AI 方向上的一系列研究:一方面,探索如何利用推理能力改进模型对齐,并进一步识别和干预推理过程中的关键风险;另一方面,关注当模型连接工具、代码环境和高风险任务后,如何评估其上下文理解、验证其决策过程,并在更高自主性出现之前刻画和预测潜在风险。通过这一脉络,报告希望展示可信 AI 如何从输出层面的评测与对齐,逐步走向对模型行为过程的理解、干预、验证与风险预测。


欢迎参加CNCC2026

CNCC是一个宏观论述技术趋势的大会,具有规格高、规模大、内容丰富等特点,会议形式包括大会特邀报告、大会论坛、专题论坛、特色活动及展览。大会汇聚两院院士、国内外顶尖学者、知名企业家等亲临大会,展望前沿趋势,分享创新成果。ACM、IEEE CS、IPSJ、KIISE等国际计算机组织的代表也多次获邀现场参加这一盛会。CNCC2026将于10月21-24日在四川省成都市举办,大会主题是“数聚驱动,智算未来”,欢迎各界前来参会。




图片


图片


点击“阅读原文”,加入CCF。

点我访问原文链接