怎么确认ai能否做一件事，做一个工具呢，我自己会用ai直接去实现，有时候效果不好，但是不知道要怎么确认这个东西就是ai做不好，还是我使用的问题

“效果不好”往往是因为一开始没写清楚什么算好。立正把这一步叫 evaluation design：每个任务都要有明确、可执行的验收标准，比如是否满足某个条件、是否避免了某类错误、是否覆盖关键边界情况、格式风格是否符合要求，而不是“看起来还行”⁠1。标准定下来后，AI 甚至可以在输出前先自检，相当于加了一道质量闸门⁠1。所以当你觉得效果不好时，先问自己：我能用一句话说清这次哪里不合格吗？如果说不清，问题多半在标准，不在模型。

立正强调 AI 失效不是一种问题，而是几类本质不同的问题，不能用一套万能动作去解决⁠1。他列出的诊断方向包括：上下文缺失导致幻觉，要补信息；上下文窗口饱和导致信息丢失，要压缩或拆分；指令歧义导致方向偏差，要改写目标；模型能力边界导致任务超出当前模型稳定能力，才考虑换模型、换工具或降低任务复杂度⁠1。你直接上手实现、效果不好时，先判断落在哪一类：如果是前三类，改的是你的输入和流程；只有反复确认前三类都排除了，才更可能是这件事当前 AI 做不稳。

黑盒输出几乎没法调试。立正提到可观测性设计：让中间过程可见，包括工具调用轨迹、阶段性产物、自检结果、失败原因、修正动作，不是只看最终答案，而是看答案是怎么长出来的⁠1。一旦过程可观测，问题能在早期暴露，不用等最终输出翻车才发现⁠1。对你做工具来说，一个可试的做法是：让 AI 在关键步骤先输出中间产物（比如先给结构、再给内容），你检查这一步对不对，而不是等成品出来再整体判断好坏。这样你能分清是某一步没做好，还是整件事它做不了。