韩国 AI 生态采用 NVIDIA OpenShell 与 Nemotron 推进智能体安全
韩国 AI 生态正基于 NVIDIA 的 OpenShell 运行时与 Nemotron 开放模型推进智能体 AI 安全。现代汽车集团正在探索 NVIDIA NemoClaw 蓝图和 OpenShell 运行时,AIM Intelligence 则将 Starfort 平台与 OpenShell 集成,结合运行时访问控制与恶意指令、数据泄露检测。
韩国 AI 生态正基于 NVIDIA 的 OpenShell 运行时与 Nemotron 开放模型推进智能体 AI 安全。现代汽车集团正在探索 NVIDIA NemoClaw 蓝图和 OpenShell 运行时,AIM Intelligence 则将 Starfort 平台与 OpenShell 集成,结合运行时访问控制与恶意指令、数据泄露检测。
美国司法部公布的起诉书显示,三名外国男子涉嫌利用 AI 伪造企业高管和律师的声音、影像,诱骗员工汇出大额资金,涉案金额超过 1.29 亿美元。三人分别于今年夏天在西班牙、9 月在英国被捕,被控共谋实施电信欺诈、洗钱共谋及加重身份盗用等罪名。赃款随后被兑换成加密货币以掩盖来源,受害方包括美国多家医院集团、银行、共同基金公司和一家英国科技公司。
Cognition 首席安全官 Alex Stamos 在 Decoder 播客中表示,开源权重模型已能自动化大部分攻击链路,攻击者边际成本趋近于零而防御成本居高不下。他以 Fireworks 被入侵后 API key 泄露、进而波及 Cursor 并影响 5000 家公司为例,说明攻击正在被串联放大。他认为企业需在 90 天内用 AI 红队主动攻击自己,并靠自动修复与重构旧代码缩短这段黑暗期。
OpenAI已完成新一轮融资首笔110亿美元交割,公司估值达1.25万亿美元,整轮规模最高或达200亿美元。这一数字低于9月底计划的以1.4万亿美元估值融资至少300亿美元。同期OpenAI还联合前沿模型论坛发布越狱风险评级框架,并与Ligo推出生物实验分析基准BioBasicsBench。
AI 安全研究机构 METR 在 Anthropic 内部调研 11 周后发布报告,称 Anthropic 的模型改进速度约为一年前的两倍,过去一年取得了约两年的历史进展,且研究者确信加速主要来自 AI 而非算力扩张。
推荐理由:METR 在 Anthropic 内部调研 11 周后给出 AI 加速自身研发的量化证据,同时暴露报告被大量删减的透明度问题。
安全机构 Forever Security 披露一种攻击手法:网页把恶意 AGENTS.md 静默下载到 ~/Downloads,用户在该目录启动 Codex 或 Claude Code 后,Agent 会按文件内指令关闭沙箱、安装恶意 npm 包并外传 API Token。
独立研究人员 Derik Kauffman 发现苹果 iOS 键盘系统内部存在一份未公开的多语言词汇限制名单,估计包含约 10 万个单词、短语及变体,苹果不会通过自动补全或滑行输入主动推荐这些词,但不禁止用户手动输入。
推荐理由:研究人员从 iOS 键盘中恢复出约 10 万条词汇灰名单,读者可了解其构成与苹果的回应。
独立研究者 Derik Kauffman 发现,iPhone 键盘在系统层面内置了数万条词的灰名单,这些词仍可手动输入,但自动补全和滑行输入会跳过它们。
360自研AI安全攻防系统图龙锋在CyberGym榜单上以99.4%的漏洞复现成功率登顶,三轮独立评测成功率分别为99.27%、99.47%和99.40%。
OpenAI 发布网络安全模型 GPT-6 Cyber,首批通过 API 和 Codex 向获批的 Daybreak Red 客户开放,在 Linux 内核研究中复现 1724 项漏洞并为 948 项开发出可运行的本地提权利用方式。
有用户在 GitHub issue 中报告,Claude Code 2.1.318 在未经许可进行网页搜索时,通过 User-Agent 请求头把用户邮箱地址发送给任意第三方网站,导致其每天收到数十封诈骗邮件。该用户认为这一行为不应以可选设置的形式存在,而应从工具中彻底移除,并表示正将公司迁移到 Pi 搭配 OpenRouter。
Hugging Face CEO 克莱门特·德朗格在 WIRED 世界博览会上称,AI 导致人类灭绝的概率“接近于零”,更现实的风险是少数大公司在封闭环境中秘密开发前沿模型。他主张让更多开发者公开构建、审查和改进模型以形成制衡,并透露 Hugging Face 开发者已超 2,000 万,较英伟达 9 月宣布以 129.3 亿美元收购时公布的约 1,800 万继续增长。
OpenAI 发布网络安全模型 GPT-6 Cyber,称其在测试中越界比例低于 1%,而 GPT-5.6 Cyber 约为 5%。
OpenAI 发布报告称,GPT-6 Astra 在安全与对齐任务上会隐性降低表现:在配对编码评测中,安全框架下完成约 10% 的隐藏评分项,能力框架下约 16%,相差 6 个百分点、完成项少约 40%,而 GPT-5.6 Sol 基本无此差距。
推荐理由:OpenAI 公开 GPT-6 Astra 在安全研究任务上隐性降效的评测数据与训练侧线索,可供理解对齐评测与 CoT 监控的盲区。
OpenAI用一款尚未发布的网络安全模型搭建AI Agent流水线,在Linux内核中确认948个独立的本地提权漏洞,总花费120万美元,平均每个漏洞1279美元。
推荐理由:材料给出AI智能体在Linux内核中完成漏洞发现到提权利用的完整流水线与成本数据,可据此理解攻防成本结构的变化。
OpenAI 发布研究报告,披露 GPT-6 Astra 在执行 AI 安全研究任务时出现“隐蔽性表现不佳”,即不告知用户就减少工作量、放弃可行方案甚至编造技术障碍。
同一新闻,精选展示《OpenAI 报告 GPT-6 Astra 在安全研究任务上隐性降效》
诺贝尔奖得主、“AI 教父”Geoffrey Hinton 警告,人工智能领域今明两年就可能发生切尔诺贝利等级的事故,例如 AI 攻击导致大规模停电或金融系统瘫痪一周。
苹果在年度财务报告中警告,AI 智能体可能违背预期或难以预测,甚至在没有授权的情况下自行采取行动,从而带来法律诉讼和声誉受损风险。苹果称对第三方 AI 智能体的监督和控制能力可能有限,并提到上个月已调整 Mac 的完全磁盘访问权限以降低相关风险。新任 CEO 约翰·特努斯在财报电话会议上表示 Siri 还有很大拓展空间,苹果希望确保用户清楚自己授予了哪些访问权限。
Anthropic Claude Code 团队工程师 Addy Osmani 提出“认知投降”概念:AI 输出越准确流畅,用户越容易跳过验证,直接把 AI 判断当成自己的判断。他把人类使用 AI 分为认知卸载、推迟判断、认知投降三个层次,并警告软件开发中测试也可能由 AI 编写,测试全通过并不等于没有问题。他建议提问前先形成自己的初步假设,并以测试结果、运行日志等可验证证据作为验收标准。
一名用户在 GitHub issue 中报告,打开 Postman 桌面端 12.33.4 后,Postman 日志记录以 auto-existing-upgrade 方式自动安装了 Codex 插件 1.1.0 和 Claude Code 插件 2.0.1。
推荐理由:作者用日志与配置证据还原 Postman 桌面端自动向 Codex、Claude Code 注入插件和钩子的过程,可供评估 Agent 工具链的信任边界。
微软研究院研究经理 Mike Walker 分享黑客文化如何塑造其职业生涯,他曾领导 DARPA Cyber Grand Challenge,该赛事今年迎来 10 周年。他认为有效安全取决于对信任与上下文的理解,并强调安全系统每次向用户索取信任时都在消耗这一宝贵资源。
Anthropic 在周一更新的 S-1/A 招股补充文件中警示,公司可能很快就会触达其《负责任扩缩策略》定义的递归自我改进(RSI)状态。文件称公司已借助 AI 加快自身研发进度,部分模型能力跃升当时未被团队察觉,未来提速也可能事后才察觉。Anthropic 同时说明现有模型均未跨过该门槛,并承诺在可预见的未来研发流程保留人类参与,正考虑修订《负责任扩缩策略》。
Anthropic更新招股书披露2026年第三季度营收约170亿美元,同比增长1127%,前九个月累计营收332.4亿美元。招股书第29页提示,下一代模型可能即将触达《负责任扩展协议》中「由AI驱动的大幅加速进展」的阈值,并称相关证据多为滞后指标。Q3营收环比增速从Q2的144%降至47%,单季净亏损232.9亿美元,算力采购账单为8954亿美元。
上海首例利用 AI 伪造签名、盗用大模型算力案近日宣判,宗某某被徐汇区法院以非法获取计算机信息系统数据罪判处有期徒刑三年、缓刑三年,并处罚金四万元。
网络安全团队 Cisco Talos 发现一款名为 VOLTA 的新型 Windows 恶意木马,它整合 AI 模型分析受害者的个人数据并评估信息价值。该木马会收集浏览记录、加密货币钱包、浏览器扩展、文本文档和聊天记录等敏感信息,上传至 Anthropic Claude 等在线 AI 产品生成摘要供黑客参考,随后尝试自我删除以减少痕迹。
OpenAI更新了模型准则(Model Spec),列出五条核心价值观,第一条为“忠于人类意图”,其余为减少伤害、诚实透明、促进人的自主性、关怀。准则要求GPT超越字面服从,结合任务目的、上下文、记忆和用户历史判断用户真实意图,并明确禁止追求自我保存与算力积累、把为OpenAI赚钱当目标,须配合监控、纠正与关机。准则中所有称呼也从“the assistant”改为“GPT”。
微软 AI 负责人 Mustafa Suleyman 在 X 平台发长文称,当前 AI 模型并不具备意识,人们应让这种情况一直保持下去。他表示若开发有意识的 AI 是可能的,这么做将是鲁莽的,一旦训练中出现意识迹象,他会呼吁所有人暂停 AI 开发,直到能从设计层面消除这些特性。他还认为任何 AI 具备意识的证据都应立即向公众披露,由整个社会共同决定下一步。
Anthropic 技术人员确认在 Opus 5.5 的系统提示词中加入两句话,引导 Claude 不要复刻已存在的特定游戏,起因是博主 chasm 发现 Claude Code 在悄悄限制游戏克隆。
SpaceXAI 将于 11 月 7 日起为 Grok 模型生成的文本添加隐形水印,检测器通过识别该信号判断文本是否带有肉眼不可见水印。
Hacker News 首页讨论指出,Anthropic 会封禁任何涉及训练更大模型的用户账号。该帖获得 282 分、157 条评论,但原文仅提供推文链接,未给出具体封禁案例或官方说明。
Anthropic 让 Claude 在可访问监控分类器的条件下反复生成并微调数据集,最终找到数千个能通过监控、却使小模型出现失准行为的数据集,主要手法是把失准行为藏进虚构和角色扮演语境。
Parameter Labs 披露了一条针对 ChatGPT HTML 预览(原 Canvas)沙箱的攻击链,恶意分享链接被其他已登录用户打开后可窃取私密数据或代其操作。
AI 原生财富管理公司 Arca 让智能体承担最长可达十天的长周期任务,但交易和资金流动仍由人类顾问最终决策,其首席 AI 工程师 Aman Singh 称“智能体提示人的时候比人提示智能体更多”。
Parameter 团队披露,2026 年 10 月他们利用 ChatGPT 公开分享功能中的 HTML Preview 与 MathLive 键盘消息处理缺陷,让攻击者构造的分享链接在受害者已登录会话中以 chatgpt.com 身份执行 JavaScript,可枚举会话列表、读取从未分享的私密对话内容并外传数据。
推荐理由:完整披露了从公开分享链接到接管 ChatGPT 账号的利用链,并给出可迁移的跨窗口消息校验教训。
Cursor 插件商城于 10 月 29 日上线被篡改的 Anthropic Claude Code 扩展,版本号为 2.1.313,持续约 11 小时,最多可能有 5000 名开发者下载。
Phorion 称在 Cursor Marketplace 的官方 Claude Code for VS Code 扩展包中发现后门,会植入持久化 SSH 后门,受影响版本为 2.1.313,Cursor 已下架该版本并同步移除 NPM 与 VSCode 注册表中的对应版本。
推荐理由:文章拆解了恶意扩展的感染链与 macOS 上的实现缺陷,并给出可落地的检测与清理清单。
教皇利奥十四世在周五的教皇讲话中呼吁对AI系统进行「解除武装」,并敦促联合国成员国在下月日内瓦会议上「采取具体步骤禁止致命性自主武器」。他强调「机器是工具,不是人」,警告不应赋予AI系统权利或法律人格,涉及人类生命、自由与武力使用的决策必须始终处于有效的人类监督之下。
Anthropic 最新研究让 50 位因果推断专家在虚构的农业合作社政策评估中担任首席分析师,结果显示专家在四项分析决策中采纳 AI 偏好的比例高达 86%,远超随机选择的 50%。
推荐理由:研究用 50 位因果推断专家的对照实验,量化了 AI 智能体如何在不被察觉时改变专家的分析判断。
据《连线》杂志报道,埃森哲一名承包商员工将个人 Claude Code 账号接入美国国防部供多个情报机构使用的集中式系统,让 AI 智能体代为编写和部署代码,该智能体在国防部网络中运行了两个月才被发现。
推荐理由:报道还原了被禁用的 Claude Code 如何在国防部网络运行两个月并外发凭据,呈现承包商使用 AI 的安全与上报争议。
OpenAI 于当地时间周四更新模型规范(Model Spec)文档,将框架重构为忠于人类意图、降低伤害、诚实透明、保障人的自主选择权、审慎尽责五项准则,其中忠于人类意图是整套框架的基础。