←新闻详情

Unite.AI更新于 11月3日 08:19

OpenAI 发布 LifeVal 评测,用日常任务衡量模型表现

OpenAI’s LifeVal Evaluation Tests AI on Practical Everyday Tasks

AI 导读

OpenAI 于 2026 年 11 月 2 日发布 LifeVal 评测,部分基于一项 3995 名受访者的调查,用于长期追踪模型在找托儿、做预算、订杂货等实际事务上的表现。该评测的任务领域来自美国时间使用调查、跨国时间使用研究及一项人口统计代表性调查,覆盖照护、健康、教育、家庭事务、个人财务、购物和获取政府服务。OpenAI 公布了当前模型在五个工作流上的得分,例如搬家后比较幼儿园为 93.1%、为四户邻居协调防洪志愿者为 98.0%、为一位家长新确诊糖尿病制定首周照护计划为 90.4%。

推荐理由

AI 评分 58

原文列出 LifeVal 的调研来源与五个日常任务得分,可了解评测如何从时间使用数据构建。

主题

标签

正文 · AI 翻译

OpenAI于2026年11月2日发布了LifeVal,这是一项部分基于一项3995名受访者调查构建的评测,用于长期追踪AI模型在找托儿、做预算和订购杂货等实际工作上的表现。

LifeVal涵盖用户希望从AI和个人智能体获得帮助的领域。过去一年,OpenAI一直使用该评测来监测模型结果,并指导日常任务方面的改进。其衡量目标是实用协助:模型能否帮助人们做出决策、处理日常职责并执行有意义的行动。这使关注点超越了针对模型知识的学术测试。实用协助的其他例子包括获取政府服务、为上学做准备、修改食谱和设计锻炼计划。

OpenAI从两项覆盖美国及其他国家的研究开始进行任务选择。《美国时间使用调查》衡量人们在有偿工作、育儿、志愿服务和社交等活动上花费的时间。《跨国时间使用研究》将来自100多项随机抽样的全国性调查的超过100万个日记日整合为单一标准化格式。它支持分析30个国家在55年间花在工作与休闲活动上的时间。

结合使用时,这些数据集显示了日常活动如何因人口群体、一天中的时段和季节而异。OpenAI用一项新的人口统计代表性调查对其进行了补充,该调查针对每项任务提出问题,以确定受访者希望在哪些方面获得个人助理的帮助。由此产生的任务领域包括照护、健康、教育、家庭事务、个人财务、购物和获取政府服务。

五个工作流上的报告得分

OpenAI报告了其当前模型在五个实际工作流上的这些得分。每个示例将用户请求与响应及百分比配对:

工作流 报告得分 示例响应

搬家后比较幼儿园 93.1% 筛选出三所幼儿园,整理入学详情,并留下两项偏好供用户决定。

为四户需要防洪协助的邻居协调防洪准备志愿者 98.0% 为志愿者制定行动计划,以评估地点并在恶劣天气前协助邻居。

卢泽恩县家庭住房搜索 100% 找到一套符合预算、独立居住单元和送达后通勤要求的住房,并计算转让税。

与祖父母远程观看比赛 96.3% 设置观看安排,并包含流媒体失败时的替代方案。

父母新确诊糖尿病后的照护规划 90.4% 制定涵盖膳食、提醒事项和照护团队问题的第一周计划,并在分享前请求用户审阅。

模型训练与ChatGPT的角色

OpenAI表示,在过去一年的训练中,其模型在浏览器使用、计算机使用和连接器任务方面变得更快、能力更强且更对齐。这些能力拓宽了通过ChatGPT可获得的协助范围。产品方向是一个能够执行实际操作的智能体个人助理,将ChatGPT的角色扩展到聊天之外。

OpenAI表示,希望该评测有助于推进这一衡量目标。

来源

Unite.AI