作为平台产品,你的核心产出不必是skill本身,而是让评测结果能改变决策:把抽样、评分标准、人工复核和干预配置串成一条可验证的闭环。
AI根据立正公开的文章和视频整理,不是他本人回复。重要的判断,请回到出处核对。
先找能由平台产品负责的产出
AI推演你负责评测平台、洞察平台和干预配置平台,这恰好覆盖了评测从“发现问题”到“改变线上结果”的链路。Marco Casalaina 提到,基于评分标准的评估正成为行业趋势,因为通用指标不知道agent具体该做什么;他举公寓定价的例子:任务完成度会说“没问题”,但三居室价格偏得离谱,通用指标看不出来1,2。这说明评测的关键不在跑分,而在评分标准是否贴合具体任务。你不写skill,仍可以负责:抽样哪些case、评分标准怎么定义和迭代、人工复核意见如何回流、评测结论如何进入干预配置。这是AI基于你的岗位做的推演,不是原文结论。
评分标准要靠真实错误迭代,不靠一次写对
Casalaina 说,先做初始评分标准、跑评估,难免还有错误;要让真实用户接触AI输出,并且不能只说“这个价格不对”,要说清原因,这个“为什么”以后写进评分标准,可能是修改已有维度,也可能是新增一项3。对你的项目,这意味着skill没写完不一定是阻塞点:你可以先把“错在哪、为什么错”的结构化反馈做成平台能力,让评测业务写的skill有可迭代的输入。立正在另一期里也提醒,用几个固定规则或步骤教eval很难覆盖真实问题,应该根据实际问题去分析和develop评估方式4。这是他对eval教学方法的判断,不是对你项目的评价。
把“决策有没有变好”当作验收标准
AI推演立正转述并认同一个观点:数据科学家唯一的产品是更好的决策,如果决策没有变好,做的东西都是浪费的;他还说很多模型是fake work,因为大家只关注前面的模型和仪表盘,没真正关心决策5。这里要区分:这是他本人在节目中的陈述,其中“唯一的产品”是他转述并明确认同的说法。套到你的处境:与其纠结自己没写过完整skill,不如选一个具体评测场景,记录评测结论是否真的改变了线上卡片配置或干预策略。查晟也强调evaluation是最重要的一环,决策错误往往说明evaluation这一步错了6。一个可观察的反馈是:同一批case,评测前后干预配置是否有可解释的差异。
提供的片段没有涉及你所在平台的具体组织分工、agent链路现状或kbox配置细节,以上应用判断需结合你的实际权限和团队协作方式检验。
出处
- 1AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina
说明基于评分标准的评估趋势,以及通用指标的局限。
- 2AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina
可回到原文核对这部分判断
- 3AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina
给出评分标准通过真实错误和原因反馈持续改进的方法。
- 4EP77 Startup 选择、AI Evals 怎么做、Data Science 未来
可回到原文核对这部分判断
- 5杨天楠:看似体面的工作,实则都是在表演?
提供“决策是否变好”作为工作价值判断的视角。
- 6亚马逊AGI查晟:大模型训练的一线实践;训练AI有多难,人才和科学精神有多重要?
强调evaluation在模型和产品决策中的关键地位。
你也有想问的?
卡住的时候,问问立正:回答附有出处,可以点回原文核对。
也可以接着问:
别人还问了
- 这个课干啥的
这是一门教人真正把 AI 用进工作与项目的课,重点不是软件操作步骤,而是提需求、判断与动手做的能力;另有一门一小时小课供先试。
- 课代表在223年写的一篇文章里面有讲包括大语言模型是怎么来的呀?介绍这些背景资料的
按现有片段,无法确认“课代表”在2023年写过介绍大语言模型由来的文章;能确认的是立正在2023年有两份公开讲解,分别从生成模型原理和范式变化切入。
- 前辈想请我付费帮她做一档播客,我很愿意采访,但觉得采访完之后的剪辑和发布比较麻烦。一方面我觉得 AI 应该可以把后期做的不错,但实际上我自己的播客后期一直没有弄的很丝滑。我不太知道怎么判断这件事合适。我想的是,我可以收很低的费用,只负责采访。或者用相对高一些的费用,把采访和后期都接了。不太想接负责找外包剪辑同学以及和外包同学沟通,之前自己试过比较麻烦。
按你的约束,更稳的是低价只接采访,把后期排除在承诺之外;若想连后期一起接,就应把外包剪辑和沟通成本算进报价,而不是假设 AI 能替你消化。
- 如何做好 data agent?
做好 data agent 的关键不在模型多强,而在先把数据关系建模成图、在生成查询外加一层审计纠错,并把上线后的持续调优当成常态。
- 目前用了很多 agent,如果管理跨 agent 的 skill 更新和维护问题?
把 skill 当成需要持续运营的共享资产:统一存放、版本化、按环境适配,并给高风险改动加审批。多 agent 不是多份 skill,而是同一份 skill 被多处引用。
- 想赚钱,增加收入,普通人是不是做自媒体更好
不一定。对多数普通人,自媒体更该先当低成本试水的事业,而不是稳赚的副业;它前期大概率不赚钱,成功标准要先定清楚。