Microsoft Research 访谈:AI 会犯什么错,失败能教会我们什么
Microsoft Research 播客访谈 Jennifer Neville,讨论 AI 在多轮对话和智能体长程任务中的失败与评估。她指出单轮 benchmark 高分不代表多轮表现,多轮指定会让性能显著下降;在长文档编辑等长程工作流中,未被发现的错误会累积。团队建议查看数据、检查答案,并用更具体的用户反馈帮助改进模型。
Microsoft Research 播客访谈 Jennifer Neville,讨论 AI 在多轮对话和智能体长程任务中的失败与评估。她指出单轮 benchmark 高分不代表多轮表现,多轮指定会让性能显著下降;在长文档编辑等长程工作流中,未被发现的错误会累积。团队建议查看数据、检查答案,并用更具体的用户反馈帮助改进模型。