Cartesia 发布低延迟语音模型 Sonic
Cartesia 发布低延迟语音模型 Sonic,模型延迟为 135ms,可生成逼真语音。该模型基于状态空间模型架构,在实验中相比 Transformer 实现将时间到首音频延迟降低 1.5 倍、实时因子降低 2 倍、吞吐量提高 4 倍,并提供 Web playground 和低延迟 API。

#模型发布#语音#多模态
Cartesia 发布低延迟语音模型 Sonic,模型延迟为 135ms,可生成逼真语音。该模型基于状态空间模型架构,在实验中相比 Transformer 实现将时间到首音频延迟降低 1.5 倍、实时因子降低 2 倍、吞吐量提高 4 倍,并提供 Web playground 和低延迟 API。

#模型发布#语音#多模态
OpenAI 将 GPT-4o 免费提供给 ChatGPT 用户,并推出具有人类级响应速度和表现力的新语音及视频模式。Sam Altman 表示,这种交互快速、自然且实用,未来还将加入可选的个性化、信息访问和代用户执行操作等能力。
#模型发布#多模态#语音
Llama 3 现已可通过 Ollama 运行,首发包含 8B 和 70B 两个参数规模,命令分别为 ollama run llama3:8b 和 ollama run llama3:70b。相比 Llama 2,其训练数据集扩大七倍,上下文长度翻倍至 8K,token 词表扩大到 128K,误拒答情况不到 Llama 2 的三分之一。Meta 计划后续发布 400B 参数版本及支持多模态、多语言和更长上下文窗口的多个模型。
#产品更新#开源生态#Meta
Zyphra 发布 7B 参数基础模型 Zamba,采用 Mamba 块与每 6 层一个全局共享注意力层结合的混合架构,训练和推理比标准 Transformer 更省算力。模型分两阶段训练,先用约 1 万亿 token 开放网页数据,再用约 500 亿 token 高质量数据退火,在多项基准上超过 LLaMA-2 7B 和 OLMo-7B,且训练数据用量不到后者一半。全部检查点以 Apache 2.0 协议开源,由 7 人团队在 128 张 H100 上耗时 30 天完成,Hugging Face 集成和完整技术报告将随后发布。

#模型发布#开源生态#数据/训练
Ollama 更新 LLaVA 视觉模型集合至 1.6 版本,支持最高 4 倍像素的图像分辨率,并在额外的文档、图表和示意图数据集上训练,提升了文字识别与推理能力。模型提供 7B、13B 和新增的 34B 三种参数规模,可通过 ollama run llava:7b、llava:13b、llava:34b 运行,采用 Apache 2.0 或 LLaMA 2 Community License 授权。CLI 中可直接引用 .jpg 或 .png 文件路径,Python、JavaScript 库和 REST API 则支持在 images 参数中传入 base64 编码文件。
#产品更新#多模态#开源生态
OpenAI 研究发布 DALL•E 2,这款 AI 工具可根据自然语言指令创建和编辑图像。Sam Altman 认为它能增强艺术家和插画师的创造力,也可能影响创意劳动市场。团队计划先与更多研究人员和艺术家协作降低风险,并希望在今年夏天推出可供用户使用的产品。

#模型发布#图像生成#OpenAI