如何运行 Underdog Saluki 27B:2-bit Qwen3.8-27B 工具调用指南
Underdog Saluki 27B 是 Qwen3.8-27B 的 7.9 GB 量化版本,据其开发者称在约 2 bit 每权重下仍保持工具调用能力,并在其自建的 120 项基准上略胜完整的 54 GB 模型。教程将 Saluki 与 ISTA-DASLab 的 GSQ-RCO 量化版并排放入原生 llama.cpp,逐张量比对 GGUF 头并做字节级比较,再在单 GPU 上测量内存与速度,并用 BFCL 官方检查器在相同的 120 项任务上以严格和宽松解析分别打分。
=8422841472, sha256="f0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c"), } BFCL v4 data and BFCL's own checker code, at one gorilla commit. GORILLA = ("https://raw.githubusercontent.com/ShishirPatil/gorilla/6ea57973c7a6097fd7c5915698c54c17c5b1b6c8/" "berkeley-function-call-leaderboard/bfcl eval/") BFCL FILES = { "data/BFCL v4 simple python.json": "82dd63ba502eb2520c6b5d1d9a5c4b590e03ff261565175561f6228a367d1991", "data/BFCL v4 multiple.json": "aef168155ebd74b7ac2401198b201343bc7d
匹配字段正文




