先写清“什么算成功”,再定可接受的错误阈值;标准要能随真实用户反馈迭代,而不是套现成模板。
AI根据立正公开的文章和视频整理,不是他本人回复。重要的判断,请回到出处核对。
先定成功标准,再定容错线
材料里的观点Marco Casalaina 说,评分标准要提前做,因为它实际上就是成功标准:通过这套标准,才认为结果达标。同时要提前定义可接受的阈值——这类系统不是确定性的,会犯错,不可能每次满分,所以要决定允许多少错误、允许哪类错误,才敢投入生产1,2。这给出一个可操作的顺序:先写“什么样算好”,再写“差到什么程度仍可用”。
标准要按任务后果分层,而不是一套通用指标
Marco 举的例子是:银行场景里某些错误后果较轻,但仍不希望 Agent 退还不存在的费用;不同后果对应不同重要程度2。他还描述了评估指标的演变:问答时代看有据性、相关性、连贯性、流畅性;Agent 开始执行动作后,又加上工具选择、输入准确、输出利用等指标3。这说明标准应跟着“系统实际做什么、错了会怎样”来定,而不是照搬一套通用清单。
标准是初稿,要靠真实用户反馈改
Marco 说,先产出初始标准、跑评估,仍会出错;然后让真实用户接触 AI 的输出,把反馈纳入评分标准,使评估检验系统是否符合用户真正想要的行为1,2。对连续量(比如定价偏了多少)他也承认要靠“标准持续改进”来解决,而不是一开始就写出完美规则2。立正在同一期节目里对“现成 eval 方法”持强烈怀疑,认为用模型验证模型会把模型自身的缺陷继承下来;这是他本人的判断,可作为你警惕“照抄模板”的背景,但不是 Marco 的观点4。
材料主要来自 AI 产品评估语境;若你要写的是员工绩效或供应商评审标准,这里的“阈值+用户反馈迭代”只能作类比,不能直接照搬。
出处
- 1AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina
说明评分标准应提前做、等于成功标准,并靠用户反馈迭代。
- 2AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina
讲阈值、错误类型与后果分层,以及标准持续改进。
- 3AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina
展示评估指标如何随系统能力变化而扩展。
- 4EP77 Startup 选择、AI Evals 怎么做、Data Science 未来
提供对现成 eval 模板和 LLM-as-a-judge 的反对意见,属于立正本人判断。
你也有想问的?
卡住的时候,问问立正:回答附有出处,可以点回原文核对。
也可以接着问:
别人还问了
- AI总是在给了我一个解决方案,我试过之后猜发现哪里不好,怎么才能有效的评价AI给出的解决方案呢?比如工具的选择。尤其是一些技术细节,我并不知道这里的优劣之分。
评价 AI 方案的关键,是先写清“什么算对”,再让 AI 给出可核对的依据;工具选择往往不是重点,先判断问题值不值得做、验收标准是什么。
- 从数据科学转去做AI产品,第一步应该做什么?
第一步不是先学某个工具,而是想清楚数据科学真正交付的是什么——更好的决策;然后把这个判断带进产品,用能跑起来的东西验证它。
- 想入职 agent 开发,解决过什么问题最硬
最硬的问题不是“我调通了 agent”,而是你解决过一个真实场景里 agent 不可靠、不可信或落不了地的问题,并能说清取舍和验证。
- 你在AI上的支出和花销是多少?token是主要的支出吗?给出具体数字
嘉宾梁津晶说,若纯按 API 计价,她每月用量“好几万”美元;但她实际只买各家约 200 美元的订阅套餐,所以真实现金支出远低于这个数。片段没有给出精确总额,也没有把 token 单独列为支出项。
- 立正是open ai股東嗎
按这段公开转录,立正说自己持有的是换成OpenAI股票的那部分,不是说他另外买了OpenAI股份。
- 对于个人而言,怎样才叫真正的AI native,包括生活、工作和学习
真正的 AI native 不是会用多少工具,而是把一件具体的事重新做一遍:看清结果、改掉旧流程、用 AI 放大自己的判断,并拿出证据。