不是必然。scaling law 描述的是当前阶段算力、数据、参数一起放大时能力上升的经验规律,它成立有前提,也会遇到瓶颈,不是一条永远向前的直线。
AI根据立正公开的文章和视频整理,不是他本人回复。重要的判断,请回到出处核对。
scaling law 是阶段规律,不是物理定律
材料里的观点它说的是在当前架构和训练方式下,把模型、数据、算力一起放大,能力会随之提升。立正用 S 曲线来讲这件事:一项技术先经历指数上升,到潜力挖尽时又会进入较慢的发展阶段,计算机底层技术就经历过多次这样的曲线,大语言模型现在处在指数上升这一段1。既然是曲线的一段,就意味着它会有拐点,而不是无限延伸。所以“数据教出来的结果”是这套方法在当下有效,不等于 AI 只能沿这条路走、也不会被别的路线取代。
数据本身是一套要持续维护的系统
把 scaling 理解成“喂更多数据就必然更强”会漏掉关键一环:训练数据不是一堆文件,而是包含原始素材、元数据、特征加工和检索数据的整套系统,研究人员大量时间花在数据搬运、格式转换和 pipeline 上,这套系统慢,研究循环就慢2。数据质量同样要人判断,坏数据会让训练不稳定,而筛选和清洗本身需要 taste 和工程手段3。也就是说,规模能不能转化成能力,取决于数据基础设施和质量控制,这些都不是自动发生的。
资料讨论的是 scaling 的机制与阶段特征,没有给出对具体时间点或某家公司结果的预测。
出处
- 1看懂OpenAI的“指数级领先”|原标题:我为什么没有加入一家AI公司?
用 S 曲线解释技术发展有指数上升也有放缓阶段,直接回应“是否必然”。
- 2LanceDB CEO 佘昶:什么是AI Native的数据格式,以及数据对AI有多重要?
说明训练数据是一套系统而非文件夹,帮助理解规模转化为能力的前提。
- 3大模型训练全过程的技术细节、难在哪里,各家真实水平,科研精神的重要,benchmark为什么没用,谷歌和英伟达的恐怖统治力,达到singularity的核心突破在于AI自主提问|查晟访谈
讲坏数据识别与清洗为何需要工程和判断,补充数据质量这一环。
你也有想问的?
卡住的时候,问问立正:回答只从立正讲过、写过的东西里来,每一段都能点回原文。
问类似的问题也可以接着问:
别人还问了
- 当前最好的副业和税收收入是什么?如何在这个基础上实现复利?应该如何开始?是否需要以及如果需要的话如何加入AI
资料不支持给出“当前最好的副业和税收收入”这种排名,它只提供了一套判断:副业选高赔率、多试错,复利靠把一次性经验沉淀成可复用系统,AI 用来放大你已有的领域积累。
- meta level 好用的prompt
好用的 prompt 分两种场景:薄工具里它是一次固定指令,够用就行;让 AI 干活时,它要自带上下文、说清验收标准,而不是规定每一步。
- 怎样提问,如何提出好问题
好问题的核心是让对方看见你的处境和依据,从而最快补上你们的认知差距;先做功课、把事实和你的猜测分开,再问一个会影响你选择的问题。
- 什么时间点,开始做自媒体最好?
没有需要等待的最佳时间点,现在就可以开始;但先想清楚你要放大什么,再决定怎么开始。
- 如果要学好 AI 的话,那十个概念是最重要的? meta level 上的。
与其背十个名词,不如掌握几个反复出现的动作:拆解需求、定义好坏、多步迭代、调用工具、自我纠错,以及先想清楚要解决什么问题。
- 想開始經營x, 建立個人公開的學習過程,該從哪方面開始?
先公开记录你正在学的碎片念头,别等想清楚再发;公开本身会带来反馈和同行者,让学习从独自看课变成持续动手。