Agent效果差怎么提需2026年11月3日提问2次类似提问

【我的背景】我是一个搜索平台产品,主要负责评测平台、洞察平台(如线上大盘数据分析、用户搜索行为数据等)、线上结果干预平台、kbox线上卡片干预和配置平台,目前10-12月在做平台的大模型评测优化项目, 【我的疑问】受限于自己的平台产品岗位,并不直接负责模型评测skill的开发功能;另外在架构侧也在做一个新agent,但是这个ai做得很垃圾,agent不能支持自主调用,且回答也错误,自己的ai能力比较差,想提需解决,但是不知道从哪入手,我想问问我接下来该怎么做

先别急着提“把agent修好”的需求。用你手上的评测平台,把“回答错误”和“不能自主调用”拆成可验收的评分标准,再用真实用户反馈定优先级,这是你能主导的核心产出。

AI根据立正公开的文章和视频整理,不是他本人回复。重要的判断,请回到出处核对。

把“垃圾”翻译成可验收的评分标准

你现在的困境是:知道agent不好用,但提需时说不清“好”是什么。Marco Casalaina 在访谈里提到,评估agent正在从一堆指标转向基于评分标准(rubric-based)的评估,因为agent不是确定性系统,不能像单元测试那样只判通过或失败⁠1。他还说,评分标准可以来自业务里已有的合规文档等材料,并要把真实用户试点中的反馈不断纳入评分标准⁠2。这对你的直接含义是:你不需要去开发评测skill,但你可以用评测平台产品经理的身份,把“回答错误”拆成具体维度——事实是否准确、是否引用了正确来源、该调用工具时有没有调用、调用后结果是否被正确使用。每个维度给出可观察的通过条件,这就是你提需的抓手。

用真实用户反馈排优先级,而不是一次提一个大需求

AI推演

Marco 还强调AI需要“格外长的试点期”,让真实用户使用并收集反馈,再把这些反馈纳入评分标准⁠2。你手上有洞察平台和线上大盘数据,这正好是别人没有的反馈来源。建议你先选一个具体场景(比如kbox卡片配置里的某类问答),收集一批真实失败案例,按上面拆出的维度归类,看“回答错误”和“不能自主调用”各占多少、哪类错误对用户影响最大。然后带着这份失败分布去提需,而不是笼统说“agent不行”。这样你的产出不是“修了一个功能”,而是“建立了一套让agent能力可被衡量和迭代的机制”。

调整心态:从使用者变成建设者

立正在一档播客里说,agent没有魔法,它是大语言模型加工具一点点做上去的,今天做不好是理所应当的;如果一直用“user心态”吐槽产品没设计到位,就很难用好它,应该用“builder心态”去使用和改进⁠3。这不是说你不该提需,而是说提需的方式要变:从“这个agent很垃圾”变成“这是它在哪些条件下失败、我建议先修哪一类”。另外,立正把“把AI当咨询师、答案错了不知道错在哪”归为较低的AI使用层次,上限取决于模型本身而非系统设计能力⁠4。你现在的机会恰恰是往系统设计那一层走——用评测平台把失败模式结构化,这比直接写skill更贴近你的岗位优势。

提供的材料没有涉及你公司agent的具体架构、团队分工和提需流程,所以以上是方法层面的建议,不能替代对你内部约束的判断。Marco 和立正的观点来自各自语境,用于解释评估思路和心态,不代表对你公司agent能力的评价。

出处

  1. 1AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina

    视频说话人待核2026-10-15

    说明agent评估正转向基于评分标准,并解释为什么不能用简单通过/失败来评。

  2. 2AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina

    视频说话人待核2026-10-15

    给出评分标准可来自业务文档、以及用真实用户试点反馈迭代评估的具体做法。

  3. 3E195|从工具到伙伴:七位AI Agent深度使用者的思考

    xiaoyuzhoufm.com说话人待核2025-06-10

    立正谈agent不是魔法、要用builder心态而非user心态,适合回应你“ai很垃圾”的挫败感。

  4. 4AI产品的六个层次

    超线性学院2026-04-25

    把“答案错了不知道错在哪”定位为较低使用层次,帮助你理解往系统设计走的价值。

你也有想问的?

卡住的时候,问问立正:回答附有出处,可以点回原文核对。

也可以接着问:

所有问题 →