蚂蚁 inclusionAI 在 GitHub 发布 sglang_ling_v3 仓库
蚂蚁 inclusionAI 在 GitHub 上线 sglang_ling_v3 仓库,内容基于开源推理框架 SGLang,该框架面向大语言模型、视觉语言模型和扩散模型,针对智能体负载、大规模服务与 RL rollout 优化。仓库 README 显示 SGLang 支持 GPU、TPU、NPU、CPU 与 Apple Silicon,并内置图像视频生成引擎 SGLang Diffusion。
以进行 rollout 生成的训练框架。 部署与编排 SMG, RBG, llm-d, Ray Serve, NVIDIA Dynamo 通过路由、负载均衡和集群编排来部署和扩展 SGLang 推理服务。 教育 Mini-SGLang, zero-to-sglang, DeepLearning.AI 课程 通过代码和动手课程学习推理引擎设计以及高效的文本和图像生成。 开发与贡献 欢迎贡献,包括缺陷修复、文档、模型支持和性能改进。 开发环境设置 从 lmsysorg/sglang:dev Docker 镜像开始,它提供开发工具和大多数依赖项。在容器内克隆或挂载你的 SGLang 检出,然后从仓库根目录以可编辑模式安装它,以便测试使用你本地的 Python 更改: pip install -e "python" 在已激活的虚拟环境中,你可以使用 uv pip install --prerelease=allow -e "python" instead. See the development guide for container setup and testing. Contribut
匹配字段正文