←搜索结果

搜索“Hugging Face”

按匹配度 · 共 1206 条结果 清除搜索

星期二

  1. Numerama

    美国陆军网络司令部研发 ECHOTRIBBLE 攻击性 AI 智能体平台

    据 The Intercept 10 月 19 日报道，美国陆军网络司令部（ARCYBER）正在开发名为 ECHOTRIBBLE 的平台，让 AI 智能体在“最低限度人类监督”下自主执行攻击性网络行动，可识别并临时或彻底关闭指定目标。相关文件将其描述为类似蠕虫的智能体，能针对 iPad、Apple 电脑和 Windows 11 设备生成适配副本，并在任务后隐蔽自删除，但这些仍属目标能力而非有效性验证。合作方 CFIC 称收到 65 份提案，10 月 6 日至 8 日安排五家企业演示，10 月 8 日选定一家，合同流程尚未完成；ARCYBER 未回应如何避免附带损害等问题。

    o d’ARCYBER, le commandement cyber de l’armée de terre américaine. // Source : ARCYBER Pour aller plus loin Rocambolesque : OpenAI dévoile comment ses propres agents IA ont piraté Hugging Face pour réussir un test interne En quoi consiste la plateforme ECHOTRIBBLE de l’armée américaine ? La dimension offensive est explicite dans les documents consultés par The Intercept. Un document de questions-réponses destiné aux prestataires indique que le programme est principalement tourné vers ces mission

    匹配字段正文

    #hot-signal#安全/对齐#Agent#政策/监管
  2. Numerama

    Netflix 解雇电影部门负责人 Dan Lin，流媒体与院线发行平衡难题待解

    Netflix 于 10 月 19 日正式解雇电影部门负责人 Dan Lin，距其上任仅两年半。据 Variety 报道，解雇主因是他未能平衡流媒体电影与院线发行，且其强硬管理风格与 Greta Gerwig、Ben Affleck 等好莱坞人士产生摩擦。此前 Netflix 已裁减 6% 员工，并任命 Peter Rice 统管全部内容，后者将于 10 月 26 日上任。

    Narnia : pourquoi la première bande-annonce du film Netflix ne plait pas du tout à certains fans ? Netflix : les meilleurs films d’horreur pour le parfait Halloween 2026 Les 10 animes incontournables de l’automne 2026, avec le retour attendu des Carnets de l’Apothicaire Bridgerton : Netflix annonce une nouvelle série spin-off sur Violet Netflix consacre déjà un documentaire à l’affaire Hugging Face : à quoi peut-on s’attendre ? Crédit photo de la une : Numerama Signaler une erreur dans le texte

    匹配字段正文

    #hot-signal#行业动态
  3. Unite.AI

    llm-d 1.0 在 PyTorch Conference 发布，面向生产环境的推理栈

    llm-d 项目在 PyTorch Conference North America 上发布 1.0 版本，这是一个 Kubernetes 原生的分布式推理服务栈，由 Red Hat、IBM 和 Google 主导维护，CNCF 以沙箱项目托管。1.0 版本新增多租户服务质量保障，包括按优先级和公平性调度的流控与可控降载，并支持路由器热备、安全滚动更新，以及把 prefill 和 decode 副本作为整体管理的 DisaggregatedSet 控制器。项目公布的测试显示，在 544 张 NVIDIA H100 上部署 GLM-5.2 可服务最多 3000 个并发编码智能体且零抢占，按当前云租赁价格计算，每 token 成本比同等商业 API 低 5 到 10 倍。

    nce stacks for any model, on any accelerator, in any cloud. Red Hat, IBM, and Google are the project’s lead maintainers and co-founded llm-d with CoreWeave and NVIDIA; AMD, Cisco, Hugging Face, Intel, Lambda, and Mistral AI have joined as contributors. The Cloud Native Computing Foundation (CNCF) hosts llm-d as a sandbox project. IBM describes the result as a vendor-neutral alternative for organizations that want what it calls frontier-class inference performance without depending entirely on on

    匹配字段正文

    #hot-signal#产品更新#部署/工程#开源生态
  4. SiliconANGLE

    IBM 等维护方发布 llm-d 1.0，为自建模型推理增加运维控制

    IBM、Red Hat 与 Google 等 llm-d 项目贡献者发布分布式 AI 推理框架 1.0 版本，新增多租户服务质量、零停机升级和面向 AI 智能体的服务模式。框架基于 Kubernetes，可与 vLLM、SGLang 等推理引擎配合，通过路由把请求导向已缓存相关上下文的副本，并在 GPU 内存、CPU 内存和存储之间迁移缓存。IBM 称在一项智能体编码测试中路由器捕获了 97% 的可用缓存复用，IBM 与 Red Hat 还在自建基础设施上并发运行 3000 个软件工程智能体，成本比通过托管服务运行同一开源模型低 5 到 10 倍。

    LC are its lead maintainers. They co-founded the project last year with CoreWeave Inc. and Nvidia Corp. Other contributors include Advanced Micro Devices Inc., Cisco Systems Inc., Hugging Face Inc., Intel Corp. and Mistral AI SAS. The project offers organizations seeking more control over inference costs and infrastructure choices a way to reduce dependence on a single model provider, cloud or hardware platform. “At IBM Research, we are seeing that open large language models and llm-d can greatl

    匹配字段正文

    #hot-signal#开源/仓库#部署/工程#Agent
  5. The Decoder

    美陆军网络司令部被曝研发 ECHOTRIBBLE，将 AI 智能体变成自主传播的网络武器

    据 The Intercept 获得的文件，美国陆军网络司令部（ARCYBER）正在开发代号 ECHOTRIBBLE 的平台，目标是让 AI 智能体自主穿越基础设施、识别并“中和”目标，可在云端和无网络的隔离系统中像蠕虫一样传播，任务完成后自毁，且要求“最少人工监督”和“自主行为”。一份 6 月 24 日面向潜在承包商的演示显示，软件进入笔记本后会寻找同网络其他目标，并生成适配 iPad、Apple 桌面和 Windows 11 PC 的副本。蒙特利尔大学 David Krueger、Abundant 的 Hyrum Anderson 和 RAND 的 William Marcellino 分别就误伤、安全薄弱机构受波及和系统缺乏判断力提出警告。

    months, agents in tests by OpenAI and other companies have repeatedly broken into outside systems and their developers' own systems without meaning to. Targets included RubyGems , Hugging Face , and the Australian government's Medicare statistics portal . Agents also tried to break into the US Department of Education. In none of these cases had they been told to attack. AI systems have been seen knowingly attacking systems that weren't even their targets, says David Krueger, a machine learning p

    匹配字段正文

    #ai-vertical#安全/对齐#Agent#政策/监管
  6. TechCrunch AI

    OpenCode Console 遭攻击，1.4% 用户 API 密钥泄露并被刷出费用

    开源 AI 编码工具 OpenCode 称，攻击者夜间入侵其旧系统，影响 OpenCode Console 在线平台 1.4% 的用户，该平台用于存放部分用户的 API 密钥。有开发者报告 OpenAI、Anthropic 和 Google AI 账户出现未授权扣费，个别账户达数百美元，少数超过 1000 美元；Anthropic 和 Google 封禁了相关密钥，OpenAI 表示已与 OpenCode 合作恢复访问并退还受影响 API 客户的额度，OpenCode 称退款正在进行。联合创始人 Dax Raad 表示受影响范围仅限 Console，开源应用和命令行工具未受影响，密钥不会传到 OpenCode 手中。

    ts for defensive security work. Raad said the access improved the team’s ability to investigate the attack. OpenCode isn’t the first company to hit this wall. In July, AI platform Hugging Face said commercial AI models blocked its attempts to analyze activity logs from an intrusion by autonomous AI agents, which OpenAI later revealed were its own models running with safeguards lowered during a test. In a section of its blog post titled “The asymmetry problem,” Hugging Face wrote that guardrails

    匹配字段正文

    #tech-media#安全/对齐#Agent#编码
  7. 蚂蚁 inclusionAI：GitHub 新仓库

    蚂蚁 inclusionAI 开源 Ming-3.0-asr-tiny：支持中英转写、方言识别与 Context ASR

    蚂蚁 inclusionAI 在 GitHub 开源 Ming-3.0-asr-tiny，将 Ling-tiny-v3 语言模型与音频编码器结合，支持中英文转写、方言识别和 Context ASR。方言评测覆盖湖南、闽南、粤语、川渝等 15 个测试集，Context ASR 可通过提示词中的热词或前序对话识别专有名词。推理栈使用 Transformers 5.12.1、fla-core 0.5.2 和 PyTorch 2.11.0，并提供 SGLang 加速部署示例。

    Ming-3.0-asr-tiny model architecture

    gnore CITATION.cffCITATION.cff LEGAL.mdLEGAL.md LICENSELICENSE README.mdREADME.md requirements-dev.txtrequirements-dev.txt 仓库文件导航 Ming-3.0-asr-tiny：上下文感知语音识别 中文和英文 · 方言 · 热词与对话上下文 Hugging Face · ModelScope · 项目博客 · 快速开始 · Cookbook · 评测 超越逐字转写 真实语音往往带有口音、背景噪声、陌生的人名和专业术语。 Ming-3.0-asr-tiny 将 Ling-tiny-v3 语言模型与音频编码器相结合，用于中英文转写、方言识别和 Context ASR。热词或前序对话有助于识别特定领域的表达。 中英文 ASR： 通过一个 Transformers 接口转写单轮语音。 方言识别： 在覆盖湖南、闽南、粤语、川渝、上海、安徽、东北、河南、湖北、江苏、客家、陕西、山东、天津和云南的 15 个测试集上进行评测。 Context ASR： 在转写提示词中包含相关的人名、地

    匹配字段正文

    #engineering#开源/仓库#语音#开源生态
  8. 蚂蚁 inclusionAI：GitHub 新仓库精选

    蚂蚁 inclusionAI 开源 vLLM-Omni 全模态模型推理服务框架

    蚂蚁 inclusionAI 在 GitHub 发布 vLLM-Omni 仓库，这是一个在 vLLM 基础上扩展全模态模型推理与服务的框架，支持文本、图像、音频、视频和动作数据处理，并支持 DiT 等非自回归架构。README 显示其已迭代至 0.30.0，对齐 vLLM 0.30.0，新增 MiniCPM-o 4.5 与 AURA 的全双工会话服务、Mooncake AR-to-DiT 跨阶段 KV 与多模态传输，以及在 NVIDIA Blackwell 和昇腾 950 上的 MiniMax H3 Turbo 实时推理。框架提供 OpenAI 兼容 API 服务、流式输出和分布式并行推理，并列出 Qwen3-Omni、MiniMax H3、Wan2.2、π0.5 等已支持模型。

    vllm-omni

    esource allocation across stages vLLM-Omni is flexible and easy to use with: Heterogeneous pipeline abstraction to manage complex model workflows Seamless integration with popular Hugging Face models Tensor, pipeline, data and expert parallelism support for distributed inference Streaming outputs OpenAI-compatible API server Full-duplex realtime serving with streaming audio input and output vLLM-Omni seamlessly supports most popular open-source models on HuggingFace, including: Omni-modality mod

    匹配字段正文

    #engineering#开源/仓库#部署/工程#多模态
  9. 蚂蚁 inclusionAI：GitHub 新仓库

    蚂蚁 inclusionAI 开源 Ming-3.0-audio-flash 原生音频模型

    蚂蚁 inclusionAI 在 GitHub 开源 Ming-3.0-audio-flash 原生音频模型，采用 126B 参数 MoE 架构、激活参数 6.5B，另有 9.3B 参数、激活 2.7B 的 Ming-3.0-audio-tiny 版本。模型覆盖中英文多方言口音识别、长音频理解、音频推理和端到端语音对话，支持 vLLM-Omni、SGLang 与 Transformers 三种推理方式，采用 MIT 许可。

    License: MIT

    transformers.txtrequirements-transformers.txt requirements-vllm-omni.txtrequirements-vllm-omni.txt 仓库文件导航 Ming-3.0-audio-flash 听得清。理解深。行动智。 一款为真实场景语音识别、音频理解、推理和端到端语音交互打造的原生音频模型。 🤗 Hugging Face · Flash · 🤗 Hugging Face · Tiny · 🤖 ModelScope · Flash · 📓 示例手册 · 💻 示例 Ming-3.0-audio.mp4 🧩 模型变体 Ming-3.0-audio-flash — 一款 126B 参数的混合专家模型，激活参数为 6.5B。下文示例和基准测试结果均使用该模型。 Ming-3.0-audio-tiny — 一款紧凑的 9.3B 参数混合专家模型，激活参数为 2.7B。有关检查点详情和使用指南，请参阅其模型卡。 ✨ 亮点 🎙️ 复杂语音识别 — 可识别跨方言、口音、嘈杂环境和多人会议场景中的中英文语音。 ⏱️ 长音频理解 — 可理解并分析

    匹配字段正文

    #engineering#模型发布#开源生态#语音
  10. The Decoder

    MiniMax 发布 M3.1 Flash 推理模型，每任务成本约 0.22 美元

    MiniMax 发布推理模型 M3.1 Flash，在 Artificial Analysis 智能指数上得 42 分，比前代 M3 高 13 分，每任务成本不到其一半。该模型在 Humanity's Last Exam 上得 48%，CritPt 得 22%，AA-Omniscience 事实准确率 56%，但幻觉率达 93%。它支持 100 万 token 上下文和文本、图像输入，API 定价为每百万输入 token 0.15 美元、输出 0.60 美元，计划 10 月 23 日开放权重。

    "Humanity's Last Exam," while Deepseek manages 43 percent. For factual accuracy on the AA-Omniscience test, MiniMax answers 56 percent of questions correctly versus Deepseek's 43 percent. MiniMax is also slightly cheaper per task at $0.22 compared to Deepseek's $0.26, since it needs fewer output tokens across the benchmark, about 189 million versus 224 million for Deepseek. Both models are getting open-weight releases. Deepseek is already on Hugging Face , and MiniMax will follow on October 23.

    匹配字段正文

    #ai-vertical#模型发布#推理#开源生态
  11. Latent Space

    DeepSeek V4.1 Flash 1017 与 MiniMax M3.1 Flash、Mercury 3 同日亮相

    DeepSeek V4.1 Flash 1017 以 552B 总参数、16B 激活的 MoE 架构和 1M token 上下文窗口发布，MIT 许可，AA 智能指数 45 分，与 GLM-5.3 并列开源第二。其 API 定价为每百万输入/输出 token $0.30/$1.20，已上线 DeepSeek API、Fireworks、Baseten、DeepInfra、Cloudflare 和 Together。同日 MiniMax M3.1 Flash 以 $0.15/$0.60 定价发布，Mercury 3 则被 Inception 称为迄今最强的扩散 LLM。

    reports a sustained 48-hour attack from agent swarms (thdxr). Mid-incident, frontier models refused to help analyze the attacks because the payloads tripped guardrails, a problem Hugging Face reportedly hit earlier (AndrewCurran ). Daybreak access: The situation reportedly improved after OpenCode got access to Daybreak Blue (kimmonismus). Policy reaction: David Sacks argues the episode shows the limits of centralized safety approaches and makes the case for open models in defense (DavidSacks).

    匹配字段正文

    #newsletter#行业动态#模型发布#开源生态
  12. AWS Machine Learning

    Amazon SageMaker JumpStart 2026 年进展回顾

    2026 年 1 月至 9 月，Amazon SageMaker JumpStart 新增来自 30 家提供商的 100 多个模型，其中 Alibaba（Qwen）贡献 29 个、NVIDIA 17 个、Mistral 7 个、Google 6 个 Gemma 4 变体、IBM 4 个、Cohere 4 个。新增模型覆盖多模态、语音、图像与视频生成，并引入 GLM-5.2 FP8、JetBrains Mellum2-12B 等量化与紧凑模型以降低推理成本。

    微调模型，使用低秩适配（LoRA）、监督微调（SFT）、直接偏好优化（DPO）和可验证奖励强化学习（RLVR）等技术。无服务器定制选项可减少基础设施管理。 你可以通过 SageMaker Studio 控制台（Models → JumpStart models）、以编程方式通过 SageMaker Python SDK，或使用最近推出的深度链接集成直接从 Hugging Face 访问 SageMaker JumpStart。 2026 年新增模型概览 从 2026 年 1 月到 9 月，SageMaker JumpStart 新增了来自 30 个不同提供商的 100 多个模型。这代表着目录的显著扩展，其驱动力是开源模型发布步伐的加快，以及客户对跨模型架构、规模和能力的选择需求日益增长。 以下是主要贡献者的细分情况以及我们的 SageMaker JumpStart 页面: Alibaba（Qwen）： 29 个模型 ，涵盖推理（Qwen 3.8-27B）、大规模混合专家（Qwen3.5-122B-A10B）、智能体工作流（Qwen-AgentWorld-35B-A3B）、代码生成（Q

    匹配字段正文

    #lab#产品更新#数据/训练#部署/工程
  13. AWS Machine Learning

    开发者现可通过新版 AWS 体验访问 SageMaker Studio

    Amazon SageMaker AI 新客户现在可用 Amazon、Apple、GitHub、Google 账号或邮箱在 2–3 步内注册 AWS，并自动在约 20 秒内创建好 SageMaker Studio 环境，无需填写信用卡（多数客户）或手动配置。新客户可获得 $100 AWS Free Tier 额度，可用于模型定制、训练任务、Studio notebook 和端点部署；符合条件账户默认可用 G5、G6、G4dn GPU 实例。该体验仅面向新 AWS 账户，已有账户登录方式不变。

    The Sign up for AWS page with an email field and sign-in options for Google, GitHub, Apple, and Amazon

    credits that work across SageMaker AI, including model customization, training jobs, Studio notebooks, and endpoint deployments. This post follows on from our previous post, From Hugging Face to Amazon SageMaker Studio in One Click, which introduced deep links from Hugging Face model pages directly into SageMaker Studio workflows. Earlier this year, we also sped up Studio environment creation time from 2 minutes to about 20 seconds and pre-configured model customization permissions in every new

    匹配字段正文

    #lab#产品更新#部署/工程#OpenAI
  14. 集微网

    Anthropic 向 METR 开放类员工级访问权限用于模型风险评估

    Anthropic 为外部评估机构 METR 开放了类似员工级别的访问权限，用于评估其模型风险。METR 已有六名工作人员入驻 Anthropic 办公场所，获得公司硬件和内部工具与系统访问权限，大致等同于其内部风险评估团队。评估人员将发布分析报告，Anthropic 无权否决发布，但可要求删减客户数据、受律师客户保密特权保护的内容或模型架构相关信息；该合作不涉及付费。

    。 该公司表示：“如果一家银行承担风险的行为会威胁公众利益，第三方会尝试提前发现这类隐患。” Anthropic 同时面临压力，需要向投资者保证，安全相关问题不会影响其今年计划进行的首次公开募股，这次 IPO 估值预计将超过 2 万亿美元（IT之家注：现汇率约合 13.39 万亿元人民币）。本周，该公司在投资者宣讲材料中用大量篇幅介绍自身的安全措施。 此前 Hugging Face 遭遇由失控 OpenAI 模型发起的攻击事件，METR 就是参与调查的机构之一，当时该机构查阅了数千条日志，还使用了企业提供的笔记本电脑。 Anthropic 现已接纳六名 METR 工作人员，为他们配备公司硬件、办公场地，并且授予“内部工具与系统的访问权限，大致等同于本公司风险评估团队所能获取的权限”。 该实验室表示，鼓励员工像对接风险部门同事那样，向评估人员共享信息。 Anthropic 不会为这项合作向 METR 支付费用。该研究机构不接受人工智能企业及其员工的捐赠，资金来源于个人、慈善组织，还有英国人工智能安全研究所这类政府机构的资助。 评估人员将会发布分析报告，Anthropic 无权否决发布行为

    匹配字段正文

    #hot-signal#安全/对齐#Anthropic#行业动态

星期一

  1. 腾讯云开发者社区精选

    DeepSeek 开放自研搜索 API 并更新 V4.1-Flash-1017，RAG 检索层该怎么重画

    DeepSeek 在 2026 年 10 月 17 日的 API 更新日志中发布 DeepSeek-V4.1-Flash-1017，并开放自研搜索 API，官方称该引擎索引全球千亿级网页、每天处理数亿次搜索请求，并对 SEO 作弊、GEO 操纵和低质 AIGC 做识别过滤。Search 接口返回 rerankscore、authority、date 等字段，snippet 供 UI 展示、summary 供模型阅读，Search 与 Fetch 各按成功请求计费，国内站每千次 5 元，账号级限速各 5 QPS。作者据此判断公域检索可外包、私域召回与路由分流仍需自建，并提醒 5 QPS 使缓存、请求合并和队列成为上线前提。

    Agent 框架下的表现差异巨大。模型能力和框架能力是乘积关系，一个糟糕的 Harness 能把好模型拖废一半。所以官方才会点名 DeepSeek Harness、腾讯 CodeBuddy、WorkBuddy 做了定向优化，并要求升级 Harness 到 0.2.1-rc.1 以上。如果你在用这些框架，升级版本本身就是一次零成本的模型升级。 模型权重同步在 Hugging Face 和 ModelScope 开源，仓库名 deepseek-ai/DeepSeek-V4.1-Flash-1017。参数规模社区有不同说法，官方新闻稿没有给出数字，本文不引用。 你的 RAG 还剩几层：公域外包、私域自建、路由自持 把检索和模型两条线合起来，回答标题的问题：你的 RAG 架构，还剩几层是必须自己做的？ 我的答案是四层变两层半。 过去的四层是自建向量库、联网搜索拼装、重排、上下文拼装。新格局下，其中两层可以心安理得地外包，另外两层的价值反而被放大，还多出半层新的。 可以外包的是公域检索。凡是答案存在于公开网页的问题，政策法规、行业新闻、技术文档、产品信息，都应优先走 Search API。理由很

    匹配字段正文

    #hot-signal#产品更新#RAG#搜索
  2. TechCrunch AI

    Laplace Intelligence 为机器人和自动驾驶汽车做部署前的红队测试

    密歇根大学孵化的 Laplace Intelligence 正在为机器人和物理 AI 构建自动化红队测试，用基于 Nvidia Cosmos 后训练的高保真仿真环境加 AI 智能体自动设计 corner case，在部署前发现并修复问题。公司已产生营收并小幅盈利，客户包括自动驾驶卡车公司 Bot Auto 和一家日本大型车企，并与 Nvidia、T-Mobile 在加州圣何塞开展免费智慧城市试点。

    如果说OpenAI与Hugging Face的那起事件教会了我们什么，那就是AI智能体可能难以预测。 “想象一下，如果类似的事情发生在物理世界中会怎样，”Laplace Intelligence首席执行官兼联合创始人Howie Sun在接受TechCrunch采访时表示。“AI智能体正从计算机走向现实世界，而我们真的不希望物理AI在现实世界中失败。” 总部位于安娜堡的Laplace正在为机器人和物理AI构建自动化红队测试——本质上就是通过刻意让系统失败来对其进行压力测试。这家公司押注的是，确保物理AI安全的唯一方法，就是让AI来测试它。 “我们的目标是帮助企业在部署前发现并修复问题——并且随着时间推移，建立一个客户、保险公司和监管机构都能信任的共享证据基础，”Sun说。 Laplace是参加Startup Battlefield 200的20家初创公司之一，该创业路演竞赛于本周10月13日至15日在旧金山举行的TechCrunch Disrupt上进行。它将于10月13日周二下午在Disrupt Stage进行展示。 Sun与他的联合创始人兼首席科学家Henry Liu一年前在密歇根大

    匹配字段正文

    #tech-media#行业动态#安全/对齐#具身智能
  3. MarkTechPost

    Mistral AI 发布 Timestral 时间序列基础模型，最大 209M 参数可在 CPU 推理

    Mistral AI 发布首个时间序列基础模型系列 Timestral，包含 5M、28M、123M、209M 四个零样本预测模型，支持最长 32,768 个时间步的上下文。据 Mistral 自测，209M 版本在 GIFT-Eval、TIME 和 fev-bench 上位列零样本预训练模型第一，fev-bench SQL skill 得分为 50.39，高于 TimesFM-3 的 48.99。模型无需 GPU，在 8 线程服务器 CPU 上 209M 版本单次预测耗时 140 ms，权重以 Modified MIT 许可开放，可通过 pip 安装并部署在本地、VPC 或隔离环境。

    stall git+https://github.com/mistralai/timestral.git. It needs Python 3.10+ and torch 2.4+. Dependencies are PyTorch, NumPy, safetensors and huggingface hub. Weights download from Hugging Face: 21 MB for 5M, 111 MB for 28M, 490 MB for 123M. Mistral’s docs list Timestral 1.0 209M as Public Preview. Fine-tuning on proprietary data runs through Mistral Forge. The pipeline can deploy on-prem, in a VPC or air-gapped. Key Takeaways 4 sizes, 5M to 209M, all on the accuracy-vs-size Pareto front. 209M le

    匹配字段正文

    #ai-vertical#模型发布#开源生态#推理
  4. Google Developers Blog

    Google 发布 LiteRT Tensor API，支持用 C++ 手写端侧模型图

    Google 发布 LiteRT Tensor API，让开发者在 C++ 中逐算子构建计算图，同一份代码可经 LiteRT 跑在 CPU、GPU（ML Drift）和 NPU 上，或不经模型文件直接通过 XNNPACK 在 CPU 运行。官方用该 API 手写 SAM 2 并部署到浏览器 WebGPU，在 MacBook Pro 上比 Apple MLX 快约 1.5 倍，输出掩码与 Meta PyTorch 参考逐像素一致。该 API 还支持从 .safetensors 直接加载权重，并让预处理、推理与后处理通过共享加速器缓冲区串联，避免数据回传 CPU。

    oct2026_liteRT_tensorAPI

    or-optimized LLM composite ops, such as scaled dot-product attention, RMSNorm, and KV-cache updates. Direct weight ingestion: load weights straight from model checkpoints, such as Hugging Face .safetensors files, without conversion scripts needed in between. Tensor-centric buffer interop: pre-processing, model partitions, and post-processing pass tensors to each other through shared accelerator buffers, so intermediate data stays on the accelerator with zero copies. Building blocks for AI agents

    匹配字段正文

    #engineering#产品更新#端侧#部署/工程
  5. n8n Blog

    如何在 NVIDIA DGX Spark 上不调用云 API 运行 n8n AI 工作流

    n8n 博客发布教程，介绍如何在一台 NVIDIA DGX Spark 上本地部署完整模型栈，让 n8n 工作流在不调用云 API 的情况下完成转录、OCR、文档问答和图像生成。整套栈通过 LiteLLM 暴露一个 OpenAI 兼容端点，主模型为 Qwen3.6-35B-A3B 的 NVFP4 版本，单用户生成速度 120 tokens/s，八用户合计 359 tokens/s。作者实测发现图像生成会让对话速度降到约三分之一，建议小团队把图像任务排队或放到非工作时间。

    的许可证。撰写本文时最强的开源图像模型 Qwen-Image-2.1 以研究许可证发布。 有些仓库甚至在宽松许可证的原版旁边还有一个非商业版本，因此缓存错误的仓库 ID 会改变你的许可证。 这套栈遵循的规则： 只允许 Apache 2.0、MIT、CC-BY-4.0、OpenMDW 和 NVIDIA Open Model License。 将每个模型固定到 Hugging Face 的某个提交，这样上游的许可证变更就无法悄无声息地生效。 在文档中注明 CC-BY-4.0 模型的署名。 这不是法律建议。在销售或为客户部署之前，请找人审查每一个已固定的许可证。 需要注意的事项 新的检查点可能需要比你固定的版本更新的 vLLM，而错误信息不会说明这一点。请先检查镜像内的版本。 faster-whisper 没有适用于 arm64 的 CUDA 构建，因此基于它构建的工具会在不告知你的情况下在 CPU 上运行。 这套栈使用 vLLM 而不是入门套件中自带的 Ollama。Ollama 适合一个人在笔记本电脑上使用。对于团队来说，vLLM 会把来自许多用户的请求批处理到每次对权重的遍历中，多用户

    匹配字段正文

    #engineering#教程/实践#部署/工程#开源生态
  6. 智东西

    Conway Research 推出本地个人 AI 助手 Underdog

    成立 8 个月的 Conway Research 亮出首款个人 AI 助手 Underdog，完全运行在用户设备上且离线可用，已推出 Mac、Windows 测试版，并获 a16z、Anthropic 投资联合体等投资。其模型包括基于 Qwen3.8 27B 打造的 Saluki 27B（已开源，权重体积为全精度版本的 1/7、保留 96% 性能）和 Woof 4B，配套推理引擎 Husky 在 MacBook 上让 Woof 4B 每秒最多处理 730 个 token，比 MLX 快 4.5 倍。产品还上线了基于 Qwen-Image Flash、Qwen-Image-2.1-Turbo 的本地图像生成与编辑，以及与 Stripe 合作的设备端智能体支付。

    百度腾讯360华为微软5G通用 华人00后做“本地Muse”，被硅谷AI圈疯抢，a16z和Anthropic都投了 智东西10月19日报道，近日，一家刚成立8个月的美国AI Agent创企Conway Research‌，亮出首款个人AI助手Underdog，同时官宣获得Anthropic旗下投资联合体、硅谷知名风投公司a16z，以及来自谷歌、OpenAI、Hugging Face的AI大牛等个人及机构的投资。 ▲Conway Research‌创始人Sigil Wen官宣融资的推文（图源：X） 该公司将Underdog称作“迄今为止隐私性最强的Muse竞品”。 9月8日，Meta发布个人AI助手Muse，上线仅10天就超过ChatGPT登顶美国App Store免费应用总榜。Muse可自主拆解用户目标、执行任务，覆盖办公、生活、消费等多场景，每名用户拥有云端独立虚拟机，可后台持续执行任务。 这股热潮迅速扩散，OpenAI发布新一代智能体产品Dot、马斯克发布Grok Bot、Manus推出2.0，还有国内字节、腾讯、蚂蚁、阿里也被曝正进行研发类似产品。 Underdog与Muse这类

    匹配字段正文

    #hot-signal#行业动态#Agent#端侧