←搜索结果

搜索“Agent”

按匹配度 · 共 1170 条结果 清除搜索

星期二

  1. MarkTechPost

    Google 开源 TorchTPU，为 Cloud TPU 提供原生 PyTorch 后端

    Google 开源 TorchTPU，这是与 Meta 的 PyTorch 团队共同开发的 Cloud TPU 原生 PyTorch 后端，在 PyTorch Conference 2026 上宣布，现有代码通过 torch.device("tpu") 即可指向 TPU。Google 团队称 TorchTPU 取代 PyTorch/XLA，建议所有新工作负载使用；它基于 PrivateUse1 接口，提供 Strict、Debug、DeferAndFuse 三种 eager 模式，torch.compile(backend="tpu") 经 StableHLO 和 OpenXLA 编译。TorchTPU 在 PyPI 上为 v0.2.0，要求 Python 3.11+，Apache 2.0 许可，配套 vLLM-TorchTPU、SGLang-TorchTPU 和 TorchTitan 仓库；Google 自报 TorchTitan 在 Ironwood 上训练 Qwen 3 8B 达到 52% MFU，可扩展至 8,192 颗芯片。

    f RazzaqWebsite | + postsBio ⮌ Asif RazzaqDeepSeek Open-Sources DeepInfer, the Inference Framework Behind DeepSeek-V4.1-Flash Asif RazzaqMiniMax Just Launched M3.1 Flash: 428B MoE Agentic Model at $0.15/M Input Asif RazzaqNVIDIA Open Sources Run:ai Under Apache 2.0 for Kubernetes GPU Orchestration RELATED ARTICLESMORE FROM AUTHOR DeepSeek Open-Sources DeepInfer, the Inference Framework Behind DeepSeek-V4.1-Flash Exa 3.0 Search API Tops Perplexity, Brave and Parallel on 8 Benchmarks Meet Drex Max

    匹配字段正文

    #ai-vertical#产品更新#开源生态#部署/工程
  2. Rohan Paul

    AIPOCH 开源 Open-Science 桌面工作台，把编码智能体变成科研助手

    AIPOCH 发布开源桌面工作台 Open-Science，采用 Apache-2.0 许可，把编码智能体改造成面向科学家的研究助手。它支持 Python 或 R notebook、AlphaFold2 和 ESM-2 等科学技能，以及 PubChem、GTEx、cBioPortal 等数据库连接；每个输出都存为不可变、带校验和的版本，并提供溯源视图和隔离回放。智能体引擎可选 Claude Code、Codex、OpenCode 或 CodeBuddy，可接云端 API、Ollama 或 vLLM 本地模型，项目默认留在本地。AIPOCH 称在 BiomniBench-DA 公开任务上以 gpt-5.6-sol 取得 79.05，在其对比中排名第一。

    AI research with a paper trail, and it’s open source. @aipoch ai has released Open-Science, a free Apache-2.0 desktop workbench that turns coding agents into research assistants for scientists. The problem is familiar to anyone using AI for analysis. You get a clean figure, then someone asks how it was made: which input, which code, which branch of the chat where an assumption changed. That context usually sits scattered across chats, notebooks and folders. Open-Science keeps it in one place. Yo

    匹配字段正文

    #ai-news#开源/仓库#Agent#数据/训练
  3. 36氪 · AI精选

    DeepSeek 开源推理框架 DeepInfer 与 Token 编解码组件 deepseek-recipe

    DeepSeek 开源自研推理框架 DeepInfer（Apache 2.0）和生产级 Token 编解码组件 deepseek-recipe（MIT），支撑 DeepSeek V4.1 Flash 单集群一天服务 155 万亿 Token。官方线上统计显示平均每请求输入 77K Token、首字延迟约 400 毫秒，生成阶段每秒输出 230 个 Token，平均 96% 的输入命中缓存。DeepInfer 目前支持 V4.1 Flash，开源版本仅提供离线推理，KV 缓存管理与负载均衡代码因与内部基础设施绑定暂未完整开源。

    ropic的Messages。 deepseek-recipe把它们统一转成同一种对话格式，再按模型版本拼好prompt、编码成Token。模型输出的Token，也由它翻译回各家格式，流式返回。 它还顺手堵了一个口子。DeepSeek的模型靠一批特殊Token标记对话结构，比如用户发言从哪开始、思考到哪结束、什么时候调用工具。 96%的输入，不用再算第二遍 Agent每调用一次工具，都要把系统提示、工具说明，连同之前每一轮的回复和工具结果，整个重新发给模型。 这里面绝大部分，上一轮早就算过了。 DeepSeek的做法是，把算过的KV缓存存下来，下一轮只算新增的那一截。前提是前缀必须从第一个Token起完全一致，中间重复的内容复用不了。 有多夸张呢？同一张卡跑Prefill，不算缓存命中，每秒处理6万个Token。 算上缓存命中，每秒150万个，整整差了25倍。 这些缓存全放在DeepSeek自家的3FS存储集群里，容量约100PiB，清一色固态硬盘。Agent流量的缓存留3天，聊天流量留7天。 聊天留得更久，是因为少数缓存会被反复读取很多次，一旦丢了，整体命中率掉得厉害。按DeepSe

    匹配字段正文

    #hot-signal#开源/仓库#推理#部署/工程
  4. 集微网

    阶跃星辰发布首款智能体手机 STEPX Neo 先行版，售价 3999 元

    阶跃星辰 10 月 13 日晚在上海发布首款智能体手机 STEPX Neo 先行版，将 Step 系列模型、Step AOS 1.0 系统、Step Studio 工具与手机硬件打包，售价 3999 元，当晚 9 点开启预售，10 月 16 日 10:13 在京东、天猫、抖音首销。该机搭载智能体原生操作系统 Step AOS 1.0 与个人智能体阶跃 Amoo，采用双入口设计，右滑可从 Amoo 界面切回传统 App 桌面，执行上端侧处理轻量任务、云端旗舰模型负责复杂推理与多步规划。阶跃同时提出连接个人智能体与服务智能体的 A to A 网络，通过 MCP、A2A 等协议打通，Amoo 已与支付宝、腾讯、携程、滴滴、剪映、高德、美团等近百家企业或产品达成合作。

    说。购机用户附赠 STEPX Token Plan，连续 12 个月、每月百亿 Token 额度，用于探索和开发智能体应用。阶跃还推出 Amoo 成长计划：前 1 万名任务达标用户将成为 “Builder One”，获得 “星辰船票”，未来五年内凭STEPX Neo可0元置换任意一款阶跃新款终端。 从 Meta、OpenAI 到谷歌、苹果，Personal Agent 正成为巨头押注的新方向。阶跃没有选择为现有手机叠加 AI 助手，而是从模型、操作系统到硬件重构一部手机，用 “模软硬一体” 回答 “智能体应该长在哪” 的问题。3999 元能否撬动用户习惯，生态能否持续生长，智能体终端的争夺战才刚刚开始。 此内容为集微网原创，著作权归集微网所有，爱集微，爱原创 相关推荐 摩尔线程率先完成阶跃星辰Step 5 Preview大模型适配 四部门组织30余家车企座谈 加强汽车产品研发测试验证管理 10-16 22:56 德明利：预计前三季度净利润86.5亿元-89.5亿元 同比扭亏为盈 10-16 22:52 长鑫科技：预计前三季度净利润1310亿-1325亿元，同比扭亏为盈 懂车帝辟谣“删视

    匹配字段正文

    #hot-signal#产品更新#Agent#端侧
  5. Unite.AI

    llm-d 1.0 在 PyTorch Conference 发布，面向生产环境的推理栈

    llm-d 项目在 PyTorch Conference North America 上发布 1.0 版本，这是一个 Kubernetes 原生的分布式推理服务栈，由 Red Hat、IBM 和 Google 主导维护，CNCF 以沙箱项目托管。1.0 版本新增多租户服务质量保障，包括按优先级和公平性调度的流控与可控降载，并支持路由器热备、安全滚动更新，以及把 prefill 和 decode 副本作为整体管理的 DisaggregatedSet 控制器。项目公布的测试显示，在 544 张 NVIDIA H100 上部署 GLM-5.2 可服务最多 3000 个并发编码智能体且零抢占，按当前云租赁价格计算，每 token 成本比同等商业 API 低 5 到 10 倍。

    s-aware flow control with controlled load shedding, including a probabilistic admitter, program-aware fairness, and turn-priority scoring, so latency-sensitive requests and bursty agent workloads can share a fleet without starving one another under overload. Flow-control configuration is consolidated under a single flowControl field. For zero-downtime operations, the router gains high availability with hot standby and safe rolling updates, and a DisaggregatedSet controller manages prefill and de

    匹配字段正文

    #hot-signal#产品更新#部署/工程#开源生态
  6. SiliconANGLE

    IBM 等维护方发布 llm-d 1.0，为自建模型推理增加运维控制

    IBM、Red Hat 与 Google 等 llm-d 项目贡献者发布分布式 AI 推理框架 1.0 版本，新增多租户服务质量、零停机升级和面向 AI 智能体的服务模式。框架基于 Kubernetes，可与 vLLM、SGLang 等推理引擎配合，通过路由把请求导向已缓存相关上下文的副本，并在 GPU 内存、CPU 内存和存储之间迁移缓存。IBM 称在一项智能体编码测试中路由器捕获了 97% 的可用缓存复用，IBM 与 Red Hat 还在自建基础设施上并发运行 3000 个软件工程智能体，成本比通过托管服务运行同一开源模型低 5 到 10 倍。

    Torch Conference North America in San Jose today and tomorrow, focuses on managing competing workloads, maintaining service during upgrades and improving hardware efficiency as AI agents generate growing volumes of model requests. Built for Kubernetes, llm-d coordinates model serving across computing infrastructure. IBM, its Red Hat subsidiary and Google LLC are its lead maintainers. They co-founded the project last year with CoreWeave Inc. and Nvidia Corp. Other contributors include Advanced Mi

    匹配字段正文

    #hot-signal#开源/仓库#部署/工程#Agent
  7. Guillermo Rauch

    Vercel 开源 HTML artifact 构建器 libfx

    Vercel CEO Guillermo Rauch 宣布开源一个速度很快的 HTML artifact 构建器，由 libfx 驱动，使智能体具备持久运行能力。他提到，过去为 v0 搭建底层管道、让它在服务器崩溃、LLM 不稳定和函数限制下仍能运行非常麻烦，现在这套能力免费且开源。Vercel Developers 还用 libfx 搭建了一个 mini v0，支持接入 Vercel AI Gateway 的 200+ 模型，输出纯 HTML artifact。

    We open sourced a really fast HTML artifact builder. It's powered by libfx, making the agent durable. Building the low-level plumbing for v0 to survive server crashes, flaky LLMs, function limits was a huge pain. Now it's easy, free, and OSS: https://t.co/aUP1vKeIsP. PS: I built this floating container in a few minutes… it's delightful, and it's just HTML!

    匹配字段正文

    #ai-news#开源/仓库#Agent#开源生态
  8. Artificial Analysis

    Exa 发布 Exa 3.0，Search Index 得分 80 与 Perplexity Search 并列第一

    Exa 发布 Exa 3.0，其 Search API 新增 Dynamic Highlights 模式，可按共享预算决定每个页面返回多少文本。Artificial Analysis 的测试显示，Exa Search（auto，Dynamic Highlights）在 Search Index 上得 80 分，与 Perplexity Search（medium）并列第一，lite 模式得 79 分；在 DeepSearchQA 上，auto 与 lite 分别以 85.6 和 84.9 F1 排在前两位。auto 模式每任务搜索 7.6 次、消耗 157k token、成本 $0.066，较标准 highlights 的 9.4 次、299k token 和 $0.083 分别下降，lite 成本为 $0.044；定价为 auto 每 1k 次搜索 $7、lite 每 1k 次 $4。

    ahead of release: an upgraded auto mode, which balances search quality and speed, and a new lite mode, optimized for lower cost and latency. Both were evaluated using our Stirrup agent harness and GPT-5.6 Luna (medium) as the agent model Key benchmarking results for Exa Search with Dynamic Highlights: ➤ Ties for 1 on the Artificial Analysis Search Index: Exa Search (auto, Dynamic Highlights) scores 80, level with Perplexity Search (medium) in the 1 spot, while Exa Search (lite, Dynamic Highligh

    匹配字段正文

    #editorial#产品更新#搜索#评测/基准
  9. 蚂蚁 inclusionAI：GitHub 新仓库精选

    蚂蚁 inclusionAI 开源 vLLM-Omni 全模态模型推理服务框架

    蚂蚁 inclusionAI 在 GitHub 发布 vLLM-Omni 仓库，这是一个在 vLLM 基础上扩展全模态模型推理与服务的框架，支持文本、图像、音频、视频和动作数据处理，并支持 DiT 等非自回归架构。README 显示其已迭代至 0.30.0，对齐 vLLM 0.30.0，新增 MiniCPM-o 4.5 与 AURA 的全双工会话服务、Mooncake AR-to-DiT 跨阶段 KV 与多模态传输，以及在 NVIDIA Blackwell 和昇腾 950 上的 MiniMax H3 Turbo 实时推理。框架提供 OpenAI 兼容 API 服务、流式输出和分布式并行推理，并列出 Qwen3-Omni、MiniMax H3、Wan2.2、π0.5 等已支持模型。

    vllm-omni

    BranchesTagsOpen more actions menu Latest commit History3,569 Commits3,569 Commits Folders and files NameNameLast commit messageLast commit date .agents/skills.agents/skills .buildkite.buildkite .claude/skills.claude/skills .gitattributes.gitattributes .gitignore.gitignore .markdownlint.yaml.markdownlint.yaml .pre-commit-config.yaml.pre-commit-config.yaml .readthedocs.yml.readthedocs.yml CONTRIBUTING.mdCONTRIBUTING.md LICENSELICENSE README.mdREADME.md collect env.pycollect env.py mkdocs.ymlmkdoc

    匹配字段正文

    #engineering#开源/仓库#部署/工程#多模态
  10. The Decoder

    Kling AI 发布 4.0 版本，新增立体声音频与多语言口型同步

    Kling AI 发布 4.0 版本，单次可生成最长 30 秒视频，支持最多 10 张关键帧图像输入，提示词理解扩展到 8,000 tokens。升级后的 Omni Reference 单次生成最多接受 15 个参考素材，包括 10 张图像、总时长不超过 30 秒的 5 段视频和 7 个元素。新版本加入双声道立体声音频和覆盖德语、英语、日语、韩语、西班牙语等十余种语言的口型同步，同时推出最高 720p、20 秒的轻量版 Kling 4.0 Flash，并可通过 MCP 和 CLI 接入自动化工作流。

    es are both listed as "coming soon" by Kling AI. Alongside the main model, Kling AI is shipping a lighter Flash variant. Kling 4.0 Flash is designed for faster generation at lower cost, though it tops out at 720p and 20 seconds of video. The creation interface has been redesigned, and Kling 4.0 can now be accessed through MCP and CLI, which makes it possible to build automated workflows with AI agents. Pricing for the Kling 4.0 API hasn't been announced yet, with support listed as "coming soon."

    匹配字段正文

    #ai-vertical#模型发布#视频#多模态
  11. MarkTechPost

    Exa 发布 3.0 搜索 API，新增 Lite 类型并称 8 项基准领先

    Exa 发布面向 AI 智能体的搜索 API Exa 3.0，新增更便宜的搜索类型 Exa Lite，每 1000 次请求 4 美元，与 Auto 共用同一索引；Dynamic Highlights 转为正式可用，官方称比整页文本少用 95% token 且不额外收费。Exa 称 Exa 3.0 Auto 在 8 项基准上均领先 Perplexity、Brave 和 Parallel，其中 BrowseComp 为 91.8%，ATLAS 为 42.0% 对 Perplexity 的 37.2%，但这些基准均由 Exa 自行运行，ATLAS 也是 Exa 自己发布的基准。Auto 每 1000 次请求标价 7 美元，高于三家竞品的 5 美元。

    Add as a preferredsource on Google Exa has released Exa 3.0, an upgrade to its web search API for AI agents. The Exa 3.0 search API ships a larger embedding model and a cheaper search type, Exa Lite. Dynamic Highlights is now generally available. Exa claims that it leads Perplexity, Brave and Parallel on 8 benchmarks. Those benchmarks were run by Exa, so you can treat them as self-reported. For developers, the practical change is cost: Lite costs $4 per 1,000 requests. TL;DR Size: Exa tracks ove

    匹配字段正文

    #ai-vertical#产品更新#搜索#Agent
  12. AWS Machine Learning

    Amazon Bedrock 为 Anthropic Claude 模型上线结构化输出

    Amazon Bedrock 现已在 bedrock-runtime 和 bedrock-mantle 两个端点为所有 Anthropic Claude 模型提供结构化输出，返回符合 JSON Schema 的响应，无需自定义解析或重试逻辑。该功能通过约束解码在生成 token 时强制执行 schema，并提供 JSON Schema 输出格式和严格工具调用两种机制。编译后的语法缓存 24 小时，首次使用新 schema 的请求会略慢；递归 schema、外部 $ref 和数值、字符串长度约束不被强制执行。

    se case JSON Schema output format Control the model’s response structure Data extraction, report generation, API responses Strict tool use Validate tool parameters against schemas Agentic workflows, function calling, multi-step automation What this means for you Each response is a valid JSON, so you no longer encounter JSON.parse() errors or parsing exceptions. Responses are also type safe: field types are enforced, and required fields are always present. Because outputs always conform to your s

    匹配字段正文

    #lab#产品更新#部署/工程#Anthropic

星期三

  1. 雷科技

    腾讯元宝搜索升级并通过腾讯云对外开放

    腾讯10月20日宣布元宝搜索升级，并通过腾讯云向企业和个人开发者开放，开发者可通过API、MCP或Skill接入。官方披露向量索引规模超过1500亿、底层检索平均耗时约8毫秒、单位推理成本降低90%，覆盖13个行业157个头部信源，元宝、WorkBuddy、ima、腾讯视频等50多款产品已在调用。腾讯云副总裁马晋称搜索面对的用户已从人变成智能体，元宝搜索用大模型重构排序链路，并以Gist Token压缩和KV Cache复用降低推理耗时。

    了数千亿级索引、覆盖13个行业的157个权威信源，腾讯还用大模型重新改造了搜索的理解、排序和底层架构，试图让搜索结果更准确、更可信，同时降低响应时间和调用成本： 做大模型时代的「可信外脑」。 在下午雷科技参加的一场媒体沟通会上，腾讯云副总裁、元宝搜索研发负责人马晋表示，搜索正在经历一次重要变化：「搜索面对的用户从1.0时代的人，变成了3.0时代的智能体。」当Agent开始自己拆解问题、反复检索，搜索引擎也不再只是给人提供链接，而要成为AI完成任务的基础能力。 既然大家都在争夺Agent的搜索需求，元宝搜索这次升级究竟带来了什么不同？对于企业和开发者来说，又为什么要选择元宝搜索？AI开始自己搜索，搜索引擎也要跟着变 过去用搜索引擎，是输入关键词，得到一串网页链接，再由自己判断哪些信息有用。大模型时代，AI直接阅读搜索结果、整理答案，省去了逐条查阅的麻烦。但当Agent开始帮人完成更复杂的任务，搜索又有了新的变化。 比如，让Agent制定一份旅行计划，它可能需要先了解目的地的天气、景点和交通，再查询机票、酒店和门票价格，甚至根据预算反复调整行程。整个过程中，搜索不再是一次性的问答，而是贯穿

    匹配字段正文

    #hot-signal#产品更新#搜索#Agent
  2. PyTorch Blog精选

    Google 与 Meta 联合推出 TorchTPU，让 PyTorch 原生运行在 TPU 上

    Google 与 Meta 的 PyTorch 团队合作推出开源项目 TorchTPU，为 Google TPU 提供原生 PyTorch 后端，迁移只需把 model.to("cuda") 改为 model.to("tpu")。项目支持 eager 与 torch.compile 两种模式，新增 DeferAndFuse eager 模式，覆盖约 450 个 Aten 算子，并已在 4,917 个 Hugging Face 模型上验证开箱运行，其中 Tier 1 通过率 98%、Tier 2 相对 GPU 数值一致性 97%。官方称其已用于部分 Google Cloud 大客户的推理与训练生产负载，并集成 vLLM、SGLang、TorchTitan、Ray 和 TorchRec。

    LLM stack for TPU delivers strong cost efficiency and high throughput on TPU systems publicly available to the community. Built on top of that, Google recently submitted the first AgentX performance results for Qwen 3.5 on Ironwood TPUs. AgentX captures the four elements of an agentic workload – multi-turn, long context, high prefix reuse, and sub-agent bursts. TPU has been able to demonstrate that its upcoming vLLM-TorchTPU stack is able to successfully handle agentic workloads. With just 4 chi

    匹配字段正文

    #engineering#产品更新#开源生态#部署/工程

星期一

  1. PyTorch Blog精选

    PyTorch 发布 TorchNeuron：面向 AWS Trainium 的原生后端

    PyTorch 宣布开源原生后端 TorchNeuron，让 Trainium 成为标准 PyTorch 设备，模型代码只需改为 .to('neuron') 即可运行，10 月 20 日以 Apache 2.0 协议在 github.com/aws-neuron/torch-neuronx 开放公测。该后端基于 PrivateUse1 和 torch.accelerator 扩展点，支持 eager、自适应 eager 与 torch.compile，并覆盖 DDP、FSDP2、张量并行等分布式 API 以及 NKI 自定义算子。官方称已在 10 万个 Hugging Face 模型上做覆盖测试，Hugging Face Transformers v5、Diffusers、vLLM Neuron 等可直接在 Trainium 上使用。

    on (dependency chain viewer). Neuron Explorer also emits a Parquet output with per-op and per-engine metrics, so the same data behind the UI can be queried directly or consumed by agents for automated bottleneck analysis. For programmatic access, users can work with the built-in torch.profiler tools. For example, the key averages table lets users drill down into specific ops and use the sort by argument to surface the device-side cost of each op, which is useful for identifying hotspots. Followi

    匹配字段正文

    #engineering#产品更新#开源生态#部署/工程
  2. Ollama Blog精选

    Cloudflare 的 27B 多模态决策模型 Clef 上线 Ollama

    Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可在本地或 Ollama 云端运行。Clef 由 Qwen3.8-27B 微调而来，采用 Apache 2.0 许可，支持文本与图像输入，兼容 Jev 和 System One API，可一次读取输入并同时为所有问题打分。官方称其在 Cloudflare Decision Index 上居首，并在多数基准上超过 Jev。

    ed on supplied text or images. Read a document: Supply a photo of a page and the fields to evaluate for field-by-field decisions with probabilities. Tool-call moderation: Check an agent’s tool call before it runs. Benchmarks Results from Cloudflare’s announcement, scored on evaluations from the Jev Decision Index: BFCL · case exact 98.47 98.76 95.75 96.52 94.51 38.13 ToolRet · nDCG@10 69.19 66.43 65.28 61.21 64.26 12.69 API-Bank · accuracy 91.93 93.11 88.19 83.66 56.30 11.41 Home appliances · ca

    匹配字段正文

    #company#产品更新#多模态#部署/工程
  3. MarkTechPost

    NVIDIA 以 Apache 2.0 开源 Run:ai 平台，用于 Kubernetes GPU 编排

    NVIDIA 将完整的 Run:ai 平台以 Apache 2.0 协议在 GitHub 开源，包含控制平面、集群服务、安装器、CLI 和 MCP server，平台团队可自行审查、fork 和自托管，无需付费订阅。发布拆为 KAI Scheduler、GPU Fractioning Operator、KAI Resource Management 和 Workload Map 四个可独立采用的组件，其中 GPU 切分改用 CUDA 13.4 原生显存硬限制。本地开发通过 local-dev.sh 在 5 节点 Kind 集群（Kubernetes v1.32.5）上模拟 8 块 Tesla-A10 GPU，无需真实 GPU；社区版不含 NVIDIA 企业支持。

    dev runs on a 5-node Kind cluster with 8 simulated GPUs. The free edition excludes NVIDIA enterprise support. Asif RazzaqWebsite | + postsBio ⮌ Asif RazzaqMiniMax Just Launched M3.1 Flash: 428B MoE Agentic Model at $0.15/M Input RELATED ARTICLESMORE FROM AUTHOR Exa 3.0 Search API Tops Perplexity, Brave and Parallel on 8 Benchmarks Meet Drex Max: Nace AI’s Multimodal Decision Model for Computer-Use Agents with a Score 67.59 MiniMax Just Launched M3.1 Flash: 428B MoE Agentic Model at $0.15/M Input

    匹配字段正文

    #ai-vertical#开源/仓库#部署/工程#Agent
  4. Google Developers Blog

    Google 发布 LiteRT Tensor API，支持用 C++ 手写端侧模型图

    Google 发布 LiteRT Tensor API，让开发者在 C++ 中逐算子构建计算图，同一份代码可经 LiteRT 跑在 CPU、GPU（ML Drift）和 NPU 上，或不经模型文件直接通过 XNNPACK 在 CPU 运行。官方用该 API 手写 SAM 2 并部署到浏览器 WebGPU，在 MacBook Pro 上比 Apple MLX 快约 1.5 倍，输出掩码与 Meta PyTorch 参考逐像素一致。该 API 还支持从 .safetensors 直接加载权重，并让预处理、推理与后处理通过共享加速器缓冲区串联，避免数据回传 CPU。

    oct2026_liteRT_tensorAPI

    w-level control over the graph or want the whole pipeline to run end to end on the accelerator. The LiteRT Tensor API also serves as an ideal programmatic foundation for AI coding agents, providing structured primitives to generate, rewire, and tune model graphs automatically. In the rest of this post, we’ll dive into the design and walk through practical code examples showing how to author models from scratch. Real-world showcase: Segment Anything on Web To show the Tensor API in practice, we b

    匹配字段正文

    #engineering#产品更新#端侧#部署/工程
  5. Together AI Blog

    Together AI 推出 Together Post-Training 后训练服务

    Together AI 发布 Together Post-Training，支持通过 RL 环境奖励和 SFT 监督数据构建定制模型，训练循环由用户自行定义。服务提供独占 GPU 的 Model Resources，支持多个 LoRA 适配器共享同一 GPU 容量，并按 GPU 分钟计费；首批支持 Muse Spark Open、GLM 5.3、Kimi K3 和 Qwen 3.8-27B 等开放权重模型。训练完成后可在 Dedicated Model Inference 中通过多 LoRA 适配器切换对比各次实验结果。

    rformance. Instead of fixing model behaviors and improving their efficiency via context or harness engineering, many AI-native and AI-forward organizations are training specialist agents, matching the quality of frontier models at a fraction of the cost and runtime. On top of that, training the model yourself yields greater ownership and flexibility: the resulting checkpoint can be deployed in any location, further refined, or even used locally. At Together, we want to empower every AI developer

    匹配字段正文

    #company#产品更新#数据/训练#部署/工程
  6. 智东西

    Conway Research 推出本地个人 AI 助手 Underdog

    成立 8 个月的 Conway Research 亮出首款个人 AI 助手 Underdog，完全运行在用户设备上且离线可用，已推出 Mac、Windows 测试版，并获 a16z、Anthropic 投资联合体等投资。其模型包括基于 Qwen3.8 27B 打造的 Saluki 27B（已开源，权重体积为全精度版本的 1/7、保留 96% 性能）和 Woof 4B，配套推理引擎 Husky 在 MacBook 上让 Woof 4B 每秒最多处理 730 个 token，比 MLX 快 4.5 倍。产品还上线了基于 Qwen-Image Flash、Qwen-Image-2.1-Turbo 的本地图像生成与编辑，以及与 Stripe 合作的设备端智能体支付。

    谷歌三星高通苹果IDx智东西英特尔iPhone大模型小米百度腾讯360华为微软5G通用 华人00后做“本地Muse”，被硅谷AI圈疯抢，a16z和Anthropic都投了 智东西10月19日报道，近日，一家刚成立8个月的美国AI Agent创企Conway Research‌，亮出首款个人AI助手Underdog，同时官宣获得Anthropic旗下投资联合体、硅谷知名风投公司a16z，以及来自谷歌、OpenAI、Hugging Face的AI大牛等个人及机构的投资。 ▲Conway Research‌创始人Sigil Wen官宣融资的推文（图源：X） 该公司将Underdog称作“迄今为止隐私性最强的Muse竞品”。 9月8日，Meta发布个人AI助手Muse，上线仅10天就超过ChatGPT登顶美国App Store免费应用总榜。Muse可自主拆解用户目标、执行任务，覆盖办公、生活、消费等多场景，每名用户拥有云端独立虚拟机，可后台持续执行任务。 这股热潮迅速扩散，OpenAI发布新一代智能体产品Dot、马斯克发布Grok Bot、Manus推出2.0，还有国内字节、腾讯、蚂蚁、阿里也

    匹配字段正文

    #hot-signal#行业动态#Agent#端侧