摘要:AI测试公司Mace AI宣布资助弗吉尼亚大学数据科学学院博士生,推动可信计算领域研究。通过设立专项奖学金,支持对自主AI代理风险的探索,并强调开放验证机制的重要性。

币圈界报道:
Mace AI携手弗吉尼亚大学推进可信人工智能研究
AI安全测试企业Mace AI联合创始人兼首席科学家Greg Frank在TheStreetRoundtable访谈中披露,公司正通过‘可信计算奖学金’项目支持弗吉尼亚大学数据科学学院的一名博士研究生,聚焦人工智能系统安全性问题。该年度资助计划旨在为前沿研究提供稳定资源保障。
构建可信赖的智能体协同体系
随着企业越来越多地将任务交由具备自主行为能力的AI代理执行,如文档处理、邮件发送与内容修改等操作,其权限滥用风险日益凸显。Mace AI开发的Fisher测试平台专门用于评估这些代理是否可能被诱导越权行动。该系统不仅能识别潜在漏洞、提出修复建议,还能进行闭环复测以验证改进效果。Mace AI全称为云端与边缘模型保障(Model Assurance on Cloud and Edge)。
为何优先外部协作而非内部研发
Frank回应外界质疑时表示,选择高校合作而非封闭式内部研发,源于对科研环境多样性的认可。他认为顶尖高校是激发创新思维的理想土壤。更深层动因在于研究透明度:关键课题必须允许独立审查,避免因技术垄断引发信任危机。“方法应公开,才能确保公正。”他强调。
他指出,当前亟需解决的一个核心难题是如何有效检测多智能体协作场景中的“危害信号”。单一代理的安全性评估已不足以应对整体系统的复杂性,必须建立跨群体的风险分析框架。“这需要学界达成共识,目前仍处于探索阶段。”
以模拟攻击者视角检验系统韧性
此类测试被称为“红队演练”,即模拟恶意攻击行为,提前发现系统薄弱环节。对于Mace AI而言,重点在于探测代理的实际权限边界——能否被诱导执行超出授权范围的操作。
Fisher并非仅依赖预设攻击清单,而是采用类进化策略:持续尝试不同攻击路径,保留有效模式并生成组合型新攻击方案,从而挖掘未被记录的隐蔽缺陷。其设计目标是超越静态威胁库,主动发现未知风险。
Mace AI CEO Walton Comer表示,发现问题只是起点,后续还需向客户推荐调整方案,并通过再测试确认修复成效。他指出,尽管人工智能显著提升了营销、运营与研发效率,但随之而来的权限管理挑战也愈加严峻,需企业、监管机构及学术界共同应对。若能有效控制风险,整体系统将进入更安全的运行状态。
新生代员工成为AI应用核心优势
针对人工智能对金融行业新人的影响,Frank分享个人观察:其子女在申请大学时已展现出对AI工具的天然驾驭能力,能够“无缝融入”智能工作流。Comer进一步指出,年轻员工虽经验尚浅,却对工具使用极为熟练,这种技能已成为团队不可或缺的资产。
“他们掌握的不是技巧,而是一种本能般的适应力。”他说,“因此,在依赖智能体的组织中,他们是最具价值的成员之一。”
Frank展望未来,认为当AI承担更多基础性任务后,人类将转向更高阶的战略决策与创造性工作,实现人机角色的重新定位。
声明:本站所有文章内容,均为采集网络资源,不代表本站观点及立场,不构成任何投资建议!如若内容侵犯了原著者的合法权益,可联系本站删除。
