不是必然。scaling law 描述的是当前阶段算力、数据、参数一起放大时能力上升的经验规律,它成立有前提,也会遇到瓶颈,不是一条永远向前的直线。
AI根据立正公开的文章和视频整理,不是他本人回复。重要的判断,请回到出处核对。
scaling law 是阶段规律,不是物理定律
材料里的观点它说的是在当前架构和训练方式下,把模型、数据、算力一起放大,能力会随之提升。立正用 S 曲线来讲这件事:一项技术先经历指数上升,到潜力挖尽时又会进入较慢的发展阶段,计算机底层技术就经历过多次这样的曲线,大语言模型现在处在指数上升这一段1。既然是曲线的一段,就意味着它会有拐点,而不是无限延伸。所以“数据教出来的结果”是这套方法在当下有效,不等于 AI 只能沿这条路走、也不会被别的路线取代。
数据本身是一套要持续维护的系统
把 scaling 理解成“喂更多数据就必然更强”会漏掉关键一环:训练数据不是一堆文件,而是包含原始素材、元数据、特征加工和检索数据的整套系统,研究人员大量时间花在数据搬运、格式转换和 pipeline 上,这套系统慢,研究循环就慢2。数据质量同样要人判断,坏数据会让训练不稳定,而筛选和清洗本身需要 taste 和工程手段3。也就是说,规模能不能转化成能力,取决于数据基础设施和质量控制,这些都不是自动发生的。
资料讨论的是 scaling 的机制与阶段特征,没有给出对具体时间点或某家公司结果的预测。
出处
- 1看懂OpenAI的“指数级领先”|原标题:我为什么没有加入一家AI公司?
用 S 曲线解释技术发展有指数上升也有放缓阶段,直接回应“是否必然”。
- 2LanceDB CEO 佘昶:什么是AI Native的数据格式,以及数据对AI有多重要?
说明训练数据是一套系统而非文件夹,帮助理解规模转化为能力的前提。
- 3大模型训练全过程的技术细节、难在哪里,各家真实水平,科研精神的重要,benchmark为什么没用,谷歌和英伟达的恐怖统治力,达到singularity的核心突破在于AI自主提问|查晟访谈
讲坏数据识别与清洗为何需要工程和判断,补充数据质量这一环。
你也有想问的?
卡住的时候,问问立正:回答附有出处,可以点回原文核对。
也可以接着问:
别人还问了
- 总觉得现在学习新东西,技术没有什么意义了,因为ai能比你做的快10倍,同时也觉得任何东西/poc都没有门槛,我能几天之内学习新的技术,并deliver。如果我能,我相信别人也能,那我的竞争力到底在哪里? 学更广的知识还是干别的什么?
几天做出一个能跑的东西,只证明你当下交付得快,不证明能力留在你身上。竞争力更可能来自撤掉帮助后仍能判断、拆解和交付,以及别人做不出来的深度。
- workbuddy普通人怎么用
普通人用 AI 的关键不是学会某个工具,而是从“偶尔用一用”变成“让 AI 成为核心生产力”,并围绕自己反复做的一件事持续积累。
- 如何学习 ai
学 AI 要当手艺练,不是当知识背:围绕真实任务动手,用“撤掉帮助、隔段时间、换个条件还能不能做”来检验自己是否真会。
- ai时代如何赚钱?
立正认为AI时代赚钱的关键不是抓住某个风口,而是把认知和方法练出来:用经营者的视角看待工作,学会识别真正创造价值的事,并且相信赚钱的唯一方式是给别人创造价值。
- 课代表一直说要像学习一门手艺一样工作,这个怎么理解,什么是手艺,学习手艺的时候需要注意什么,如何精通一门手艺?
手艺不是熟练重复,而是能不断往深里钻研、越做越发现学问的活能力;学它靠动手试错,精通靠长期坚持。
- ai时代,我应该怎么了解我想做,可以做的事,作为马上就要毕业的大学生,我应该怎么样去求职。
先别急着海投简历,花一两天认真想清楚:不靠公司,你能给别人提供什么价值;再花几周去真实试一次。