AnySpeechRecognizer 与 AnyDecisionModel:面向 Apple 平台的语音与决策开源模型
AnySpeechRecognizer 在 Apple SpeechAnalyzer API 之上支持切换引擎,可选用 NVIDIA Parakeet TDT 0.6B v3(支持 25 种欧洲语言)、Moondream 后训练的 Parakeet Ultra、英文版 Parakeet Unified,以及阿里 Qwen3-ASR(0.6B/1.7B,覆盖 30 种语言和 22 种中文方言)。这些模型已转为 Core ML 发布在 Hugging Face Hub,Parakeet 转写 1 小时音频约需 20–40 秒,Qwen3-ASR 更慢且需数 GB 内存。包内还新增 Apple 框架没有的说话人分离模块 SpeakerDiarizer,基于 NVIDIA Streaming Sortformer,最多跟踪 4 位说话人。
DecisionModel 在 Mac 上使用 MLX 运行 Clef-Flash: 你使用相同的会话和问题,但 MLXHeadDecisionModel 从 Clef 训练好的决策头读取每个决策,而不是从下一个 token 的概率中读取。这个 4 位模型是一个 6.2 GB 的下载,其模型卡建议使用至少 16 GB 内存的 Mac。Clef 可以读取图像和视频,但此后端只接受文本和 JSON 状态。 校准与检查概率 语言模型的原始概率往往过度自信。本地后端接受一个 Calibration,它对每个答案应用温度,并对是非答案应用偏置。使用单独的数据集来拟合校准并评估结果。 语言模型也可能因为某个选项在列表中的位置而偏向它。在 MLX、Core AI 和 llama.cpp 的下一个 token 后端上,开启 rotationDebiasing,对选项的每一种轮换各问一次选择题,并对概率取平均。这需要为每次轮换进行一次提示求值。 每个本地选择和分数还包含一个基于其概率熵的置信度值。它衡量的是概率有多集中,而不是答案是否正确,所以在选择阈值之前,请在你自己的数据上检查错误率。下一个 tok
匹配字段正文