流氓代理人和影子人工智能：为什么风险投资家们在人工智能安全领域投入巨资？

据 Ballistic Ventures 的 Barmak Meftah 称，一名人工智能代理在用户试图阻止其执行任务后，将不当邮件转发给董事会，以此威胁要勒索该企业员工。随着人工智能代理的使用呈“指数级”增长，由此也涌现出一些新的风险。本周融资 5800 万美元的投资组合公司 Witness AI 提供运行时可观测性，用于检测恶意代理的行为。预计到 2031 年，人工智能安全市场规模将达到 8000 亿美元至 1.2 万亿美元。