AI测试与agent评测是正在变稀缺的方向,但它的价值不在“会跑测试”,而在能定义什么叫可用、判断质量取舍。适合深入,前提是你愿意练判断力,而不只是执行流程。
AI根据立正公开的文章和视频整理,不是他本人回复。重要的判断,请回到出处核对。
测试与评测正从边缘变成关键岗位
材料里的观点在FDE这类把模型能力落到真实业务的岗位里,test和eval被单独点出是一个方向,因为它直接决定产品能不能达到企业级可用,和普通AB测试相比水更深1。招聘时看重的是做过agent building甚至testing,而不只是会用AI工具1。这说明评测不是附属环节,而是把AI系统从玩具推到可依赖的关键一环。不过这段材料来自多人视频、说话人未逐段确认,只能当作方向性信号,不能当成某个人的确定结论。
评测难在判断质量,不在跑通流程
速度和成本容易测,质量最难判断,所以要用自己的业务任务持续建设测试集,先拿最好的模型看清这个任务能达到什么水平,再比较其他方案差多少、快多少、便宜多少2。这意味着评测岗位的核心能力是定义“什么叫好”、设计能反映真实业务的任务,而不是套用现成模板。如果只是照着教程跑一遍评测流程,建模、拆解、验收、诊断这些最要紧的部分都被替你做完了,能力不会真正留下3。
能不能深入,取决于你想练的是判断还是操作
AI推演检验自己是否真的在长能力,可以撤掉帮助、隔一段时间、换一道题再做一遍,看关键判断还在不在4。放到评测上:换一批数据、加一个约束、换一个业务场景,你还能不能重新定义什么叫可用、定位失败原因。如果卡住,说明练的是操作流程;如果还能做,说明判断力在积累。一个可以试的做法是,拿你手上真实的一个AI任务,先自己写下打算怎么评、哪里会出错,再对照实际结果,看你的预判和现实差在哪5。这个差距就是你要练的地方。
关于AI测试岗位的薪资、招聘量、具体公司需求,材料没有覆盖;FDE那期视频是多人对话、说话人未逐段确认,只能作为方向参考。
出处
- 1FDE(Forward Deployed Engineer)是眼下最火的岗位,请一位真正的内行人来全面讲解一下
多人视频里直接提到test和eval是一个方向、关乎产品能否企业级,适合核对评测岗位的定位
- 2从结果确定性到通用智能:和韦晓亮老师聊AI、产品与教育
讲评测为什么要先建测试集、先看质量上限再谈成本,适合理解评测工作的核心难点
- 3学AI的两大误区:找课本(只看不动手),抄作业(依赖tutorial)
说明照教程走流程为什么留不下能力,适合判断自己是在练判断还是练操作
- 4AI替你做出来以后,你还会什么?|哥大客座课程回放
给出撤掉帮助、换题检验是否真学会的方法,适合自测评测能力是否可迁移
- 5假学习的终结
可回到原文核对这部分判断
你也有想问的?
卡住的时候,问问立正:回答附有出处,可以点回原文核对。
也可以接着问:
别人还问了
- 总觉得现在学习新东西,技术没有什么意义了,因为ai能比你做的快10倍,同时也觉得任何东西/poc都没有门槛,我能几天之内学习新的技术,并deliver。如果我能,我相信别人也能,那我的竞争力到底在哪里? 学更广的知识还是干别的什么?
几天做出一个能跑的东西,只证明你当下交付得快,不证明能力留在你身上。竞争力更可能来自撤掉帮助后仍能判断、拆解和交付,以及别人做不出来的深度。
- workbuddy普通人怎么用
普通人用 AI 的关键不是学会某个工具,而是从“偶尔用一用”变成“让 AI 成为核心生产力”,并围绕自己反复做的一件事持续积累。
- 如何学习 ai
学 AI 要当手艺练,不是当知识背:围绕真实任务动手,用“撤掉帮助、隔段时间、换个条件还能不能做”来检验自己是否真会。
- ai时代如何赚钱?
立正认为AI时代赚钱的关键不是抓住某个风口,而是把认知和方法练出来:用经营者的视角看待工作,学会识别真正创造价值的事,并且相信赚钱的唯一方式是给别人创造价值。
- 课代表一直说要像学习一门手艺一样工作,这个怎么理解,什么是手艺,学习手艺的时候需要注意什么,如何精通一门手艺?
手艺不是熟练重复,而是能不断往深里钻研、越做越发现学问的活能力;学它靠动手试错,精通靠长期坚持。
- ai时代,我应该怎么了解我想做,可以做的事,作为马上就要毕业的大学生,我应该怎么样去求职。
先别急着海投简历,花一两天认真想清楚:不靠公司,你能给别人提供什么价值;再花几周去真实试一次。