Brave 与 NEAR AI 合作,为隐私优先的 Leo AI 助手带来端到端加密聊天。该功能下,浏览器在设备端用 Oblivious HTTP(OHTTP)加密提示词,只有经过认证的 TEE 才能解密并运行机密 LLM 推理,IP 地址全程隐藏,GLM 5.3 Flash 模型运行在 NEAR AI 运营的 Nvidia 硬件隔离区中,提示词与回复对 Brave、NEAR AI 及基础设施运营方均不可见。该功能已在 Brave Release、Beta 和 Nightly 上线,需在 Leo 中选择 GLM 5.3 Flash 使用;Brave 表示后续会把认证检查移入浏览器并扩展到其他开源权重模型。
微软首席架构师 Samir Rajadnya 在 AI Data Pipeline Forum 上表示,可组合内存将内存池化后按需分配给工作负载,是应对 AI 数据中心内存短缺的实用方案。他指出 AI 推理同时受限于功耗和内存,内存离开服务器机箱后,互连技术(包括光学连接)将决定可组合内存能否落地。他建议企业先锁定两三个核心工作负载,再围绕其做工作负载、系统、软件、芯片的垂直整合。
ScaleFlux 联合创始人兼 CEO Hao Zhong 在 AI Data Pipeline Forum 上表示,GPU 和 TPU 性能过去八年提升近 1000 倍,但外部 DRAM 与 SSD 组成的数据管道未能跟上,内存和存储正成为未来 AI 的瓶颈。ScaleFlux 今年推出两款控制器芯片,分别面向 PCIe Gen 6 SSD 和 Compute Express Link 内存,用于第二、三级数据管道。随着 AI 从训练转向推理和智能体负载,系统需要更多数据就近可用。
Apple 机器学习团队在一份新白皮书中提出内部技术 Minions,可将闲置的 Apple Silicon Mac 组成分布式虚拟 GPU 云,用于 AI 推理。Minions 目前支持基于 Hugging Face 和 Ollama 开源 Transformer 模型的嵌入向量生成与 LLM 补全,并计划未来支持分布式模型训练。该技术尚未在 Apple 外部开放,白皮书称采用后部分推理任务排队时间从超过 10 小时缩短到几分钟内启动。