评估候选人 AI 素养,重点不是看他会不会用工具,而是看他能否把标准写清楚、用 AI 做出可验收的产出,并判断 AI 哪里不可靠。展示类任务让他现场拆解一个真实工作流;构建类任务让他做一个小型可评估闭环。
AI根据立正公开的文章和视频整理,不是他本人回复。重要的判断,请回到出处核对。
先定标准,再看表现
微软 CoreAI 副总裁 Marco Casalaina 把“先写评分标准(rubric)”列为通用最佳实践,并说试点期要收集真实用户反馈,再把反馈写回评分标准,让评估检验系统是否符合用户真正想要的行为1,2。他还提到,评估维护者(eval maintainer)正成为一种新岗位,M365 Copilot 有整支评估团队专门做这件事2。对你的招聘场景,这意味着:先为“AI 素养”写出几条可观察的评分项,再设计任务,而不是先出题再凭感觉打分。这是 AI 基于上述发言对招聘场景的推演。
展示类任务:看他能否从名词进入机制
材料里的观点立正给过一个具体的面试做法:给候选人一份很小的 AI 工作流材料,比如一份 CLAUDE.md、一个项目里的 agents.md,或一段真实项目的迭代记录,让他看几分钟,然后问:这里最关键的设计是什么、它解决的是哪个底层问题、迁移到自己项目会先改哪三件事、有什么风险、AI 反复犯同一个错时怎么约束它3。他观察到的差异是:有人只会复述“上下文、工作流、agent、prompt”这些名词,有人能看到动作——怎么给背景、怎么沉淀偏好、怎么把一次经验写成下次可复用的规则、怎么把“对话”变成“系统”3。这类题的好处是不需要候选人自带项目,也能看出他是识别概念还是理解机制。
构建类任务:做一个小闭环,而不是一个大 demo
AI推演立正讲过一个可迁移的结构:确定性的部分用程序做,规则不够用的部分交给 AI,最终判断留给人,人的反馈再回到 skill 和评估里4。他特别强调,不能只问一句“帮我找异常”,而要把判断标准写成 skill,加入成功和失败案例,构建 evals 量化测试 precision/recall,并观察换模型或 prompt 后是变好还是变差4。他还提到,只看评估结果、不盯每一步是可以的:写清目标和成功标准,用两百个案例加一个 LLM 当评委检查结果,花少量时间检查结果拿到全部成果,这才叫杠杆;中间步骤如果影响客户体验,就写进评估5。用于招聘时,可以给候选人一个小而真实的场景,要求他交付:判断标准、几个测试案例、一次失败案例的修正记录。这能同时看到他的拆解能力、验收意识和迭代习惯。这是 AI 对上述方法的招聘化应用。
现有材料没有给出完整的评估量表或现成题库,也没有区分候选人和新人的评估差异;上面的任务设计是把材料中的方法迁移到招聘场景的推演,需要你结合岗位自行校准。
出处
- 1AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina
可回到原文核对这部分判断
- 2AI在大企业中的应用才刚刚开始,人才供不应求?|对话微软CoreAI副总裁Marco Casalaina
支持“先写评分标准”和评估维护者作为新岗位的判断。
- 3正确的学习方法比大家想象中稀缺很多,那我们如何筛选人才?
给出展示类面试题的具体问法和“名词 vs 机制”的判断依据。
- 4不要一上来就让 AI 判断一百万条数据|AI与人协作的任务光谱
提供构建类任务的核心结构:程序、AI、人分工,以及 skill 与 evals 的迭代闭环。
- 5AI替你做出来以后,你还会什么?|哥大客座课程回放
说明用案例加 LLM 评委检查结果、把关键中间步骤写进评估的做法。
你也有想问的?
卡住的时候,问问立正:回答附有出处,可以点回原文核对。
也可以接着问:
别人还问了
- 你會如何評估一個人使用 AI 的深度?
根據目前主流的觀點或你的判斷,現在使用 AI 的層級大致分為哪幾層呢?
他們最明顯的分別是什麼呢?
评估一个人用 AI 的深度,可以看他是否把 AI 从“更快的工具”变成“能替自己在盲区里判断的伙伴”;分层上,立正给出的是 AI 产品的 L0–L6,而不是人的等级。
- 这个课干啥的
这是一门教人真正把 AI 用进工作与项目的课,重点不是软件操作步骤,而是提需求、判断与动手做的能力;另有一门一小时小课供先试。
- 课代表在223年写的一篇文章里面有讲包括大语言模型是怎么来的呀?介绍这些背景资料的
按现有片段,无法确认“课代表”在2023年写过介绍大语言模型由来的文章;能确认的是立正在2023年有两份公开讲解,分别从生成模型原理和范式变化切入。
- 前辈想请我付费帮她做一档播客,我很愿意采访,但觉得采访完之后的剪辑和发布比较麻烦。一方面我觉得 AI 应该可以把后期做的不错,但实际上我自己的播客后期一直没有弄的很丝滑。我不太知道怎么判断这件事合适。我想的是,我可以收很低的费用,只负责采访。或者用相对高一些的费用,把采访和后期都接了。不太想接负责找外包剪辑同学以及和外包同学沟通,之前自己试过比较麻烦。
按你的约束,更稳的是低价只接采访,把后期排除在承诺之外;若想连后期一起接,就应把外包剪辑和沟通成本算进报价,而不是假设 AI 能替你消化。
- 如何做好 data agent?
做好 data agent 的关键不在模型多强,而在先把数据关系建模成图、在生成查询外加一层审计纠错,并把上线后的持续调优当成常态。
- 目前用了很多 agent,如果管理跨 agent 的 skill 更新和维护问题?
把 skill 当成需要持续运营的共享资产:统一存放、版本化、按环境适配,并给高风险改动加审批。多 agent 不是多份 skill,而是同一份 skill 被多处引用。