如何在 NVIDIA DGX Spark 上不调用云 API 运行 n8n AI 工作流
n8n 博客发布教程,介绍如何在一台 NVIDIA DGX Spark 上本地部署完整模型栈,让 n8n 工作流在不调用云 API 的情况下完成转录、OCR、文档问答和图像生成。整套栈通过 LiteLLM 暴露一个 OpenAI 兼容端点,主模型为 Qwen3.6-35B-A3B 的 NVFP4 版本,单用户生成速度 120 tokens/s,八用户合计 359 tokens/s。作者实测发现图像生成会让对话速度降到约三分之一,建议小团队把图像任务排队或放到非工作时间。
ker run 之后 311 秒就准备好提供服务了。 端口发布在 172.17.0.1,即 Docker 的网桥地址,因此只有本机上的容器才能访问它。VLLM API KEY 会让 vLLM 拒绝任何不带密钥的请求。 在 DGX Spark 上最重要的几个参数: --gpu-memory-utilization 0.32 将此模型的内存占用限制在约三分之一。其他模型需要剩下的部分。 --kv-cache-dtype fp8 将 KV 缓存所需的内存减半,因此在同样的预算下可以容纳更多上下文。 --moe-backend marlin 为量化专家层选择内核。草稿模型的专家层未量化,因此 --speculative-config 会为它单独设置 moe backend。 --speculative-config 开启多 token 预测(MTP)。模型会提前起草三个 token,并在一次前向中校验它们。 --reasoning-parser 和 --tool-call-parser 必须与模型系列匹配。当工具调用失败时,先检查这些参数,再归咎于模型。 检查启动日志中 vLLM 选择的内核。
匹配字段正文
