先别急着提“把agent修好”的需求。用你手上的评测平台,把“回答错误”和“不能自主调用”拆成可验收的评分标准,再用真实用户反馈定优先级,这是你能主导的核心产出。
AI根据立正公开的文章和视频整理,不是他本人回复。重要的判断,请回到出处核对。
把“垃圾”翻译成可验收的评分标准
你现在的困境是:知道agent不好用,但提需时说不清“好”是什么。Marco Casalaina 在访谈里提到,评估agent正在从一堆指标转向基于评分标准(rubric-based)的评估,因为agent不是确定性系统,不能像单元测试那样只判通过或失败1。他还说,评分标准可以来自业务里已有的合规文档等材料,并要把真实用户试点中的反馈不断纳入评分标准2。这对你的直接含义是:你不需要去开发评测skill,但你可以用评测平台产品经理的身份,把“回答错误”拆成具体维度——事实是否准确、是否引用了正确来源、该调用工具时有没有调用、调用后结果是否被正确使用。每个维度给出可观察的通过条件,这就是你提需的抓手。
用真实用户反馈排优先级,而不是一次提一个大需求
AI推演Marco 还强调AI需要“格外长的试点期”,让真实用户使用并收集反馈,再把这些反馈纳入评分标准2。你手上有洞察平台和线上大盘数据,这正好是别人没有的反馈来源。建议你先选一个具体场景(比如kbox卡片配置里的某类问答),收集一批真实失败案例,按上面拆出的维度归类,看“回答错误”和“不能自主调用”各占多少、哪类错误对用户影响最大。然后带着这份失败分布去提需,而不是笼统说“agent不行”。这样你的产出不是“修了一个功能”,而是“建立了一套让agent能力可被衡量和迭代的机制”。
调整心态:从使用者变成建设者
立正在一档播客里说,agent没有魔法,它是大语言模型加工具一点点做上去的,今天做不好是理所应当的;如果一直用“user心态”吐槽产品没设计到位,就很难用好它,应该用“builder心态”去使用和改进3。这不是说你不该提需,而是说提需的方式要变:从“这个agent很垃圾”变成“这是它在哪些条件下失败、我建议先修哪一类”。另外,立正把“把AI当咨询师、答案错了不知道错在哪”归为较低的AI使用层次,上限取决于模型本身而非系统设计能力4。你现在的机会恰恰是往系统设计那一层走——用评测平台把失败模式结构化,这比直接写skill更贴近你的岗位优势。
提供的材料没有涉及你公司agent的具体架构、团队分工和提需流程,所以以上是方法层面的建议,不能替代对你内部约束的判断。Marco 和立正的观点来自各自语境,用于解释评估思路和心态,不代表对你公司agent能力的评价。
出处
- 1AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina
说明agent评估正转向基于评分标准,并解释为什么不能用简单通过/失败来评。
- 2AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina
给出评分标准可来自业务文档、以及用真实用户试点反馈迭代评估的具体做法。
- 3E195|从工具到伙伴:七位AI Agent深度使用者的思考
立正谈agent不是魔法、要用builder心态而非user心态,适合回应你“ai很垃圾”的挫败感。
- 4AI产品的六个层次
把“答案错了不知道错在哪”定位为较低使用层次,帮助你理解往系统设计走的价值。
你也有想问的?
卡住的时候,问问立正:回答附有出处,可以点回原文核对。
也可以接着问:
别人还问了
- 经常看到博主使用AI做任务,AI给出的结果超出预期,我在使用时,也给了背景目标,但是最终的效果就是AI纯执行,两轮对话后就会变成我说一句AI做一下,给人一种“我还用你干嘛”的感觉
你缺的不是“背景目标”,而是让 AI 能自己判断对错的标准和可复用的信息。只给目标,AI 只能一步步等你指令;给出好/坏标准与素材,它才可能超出预期。
- 这个课干啥的
这是一门教人真正把 AI 用进工作与项目的课,重点不是软件操作步骤,而是提需求、判断与动手做的能力;另有一门一小时小课供先试。
- 课代表在223年写的一篇文章里面有讲包括大语言模型是怎么来的呀?介绍这些背景资料的
按现有片段,无法确认“课代表”在2023年写过介绍大语言模型由来的文章;能确认的是立正在2023年有两份公开讲解,分别从生成模型原理和范式变化切入。
- 前辈想请我付费帮她做一档播客,我很愿意采访,但觉得采访完之后的剪辑和发布比较麻烦。一方面我觉得 AI 应该可以把后期做的不错,但实际上我自己的播客后期一直没有弄的很丝滑。我不太知道怎么判断这件事合适。我想的是,我可以收很低的费用,只负责采访。或者用相对高一些的费用,把采访和后期都接了。不太想接负责找外包剪辑同学以及和外包同学沟通,之前自己试过比较麻烦。
按你的约束,更稳的是低价只接采访,把后期排除在承诺之外;若想连后期一起接,就应把外包剪辑和沟通成本算进报价,而不是假设 AI 能替你消化。
- 如何做好 data agent?
做好 data agent 的关键不在模型多强,而在先把数据关系建模成图、在生成查询外加一层审计纠错,并把上线后的持续调优当成常态。
- 目前用了很多 agent,如果管理跨 agent 的 skill 更新和维护问题?
把 skill 当成需要持续运营的共享资产:统一存放、版本化、按环境适配,并给高风险改动加审批。多 agent 不是多份 skill,而是同一份 skill 被多处引用。