登录邮箱:1527511756@qq.com
当前位置:乡村振兴网>> 品牌>>正文内容

阶跃星辰姜大昕:Scaling Law仍处于陡峭区间,万亿参数是基本出发点

2024年07月07日 来源:乡村振兴网

在2024世界人工智能大会启明创投·创业与投资论坛上,阶跃星辰创始人、CEO姜大昕发表了演讲,分享了对于大模型发展现状与趋势的观察与思考。在演讲中,姜大昕重点阐述了一个核心观点:探索AGI路径,“Scaling Law”和“多模态”是相辅相成、缺一不可的两个方向。两者齐头并进,最终到达AGI。

近年来,GPT系列模型的演进,客观上验证了Scaling Law的有效性。模型参数量决定模型能力的上限。从模型效果看,参数量增大确实带来了性能上的飞跃。虽然业内围绕“Scaling Law还能走多远”尚未形成共识,但阶跃星辰认为,参数量接下来再提高一个数量级是依然成立的。Scaling Law 目前依然奏效,模型性能仍然在随着参数量、数据量和计算量的增加呈幂次方增长。在此发展过程中,万亿参数量已经成为一个基本的入门门槛。

正是基于这样的认知,阶跃星辰很早便启动了万亿参数模型的训练。从千亿到万亿,模型的参数规模提升了一个量级,难度也提升了十倍以上。为此,阶跃星辰加大资源投入,尤其在系统和算法上积极探索,最终走通了万亿参数 MoE 大模型训练的道路。在 WAIC 2024 上,阶跃星辰发布了全新的 Step-2 万亿参数语言大模型正式版。根据从逻辑推理、世界知识、数学和编程等多个维度进行的权威测试,Step-2 模型能力都已全面接近国际主流模型,在部分测试集甚至实现了超越。

责任编辑:杜烽
相关推荐
江西优质农业品牌「陶小溪」:山泉赋能山水经济 助力乡村振兴

水润万物,滋养一方水土,承载一地文脉。它不仅是生命之源,更是土地禀赋、生态底蕴与人文气质的自然凝练。植根赣鄱沃土、源自浮梁灵秀山水的陶小溪山泉水,伴溪而生、循山而来。既凝练了江...[详细]

帕森眼镜官宣周也任品牌代言人 双星矩阵驱动年轻化战略纵深落地

业内人士认为,帕森此次代言人升级,代表了一种从“短期曝光”向“长期价值共建”的范式转变。品牌不再仅依赖明星光环,而是通过人设匹配、内容共创与产品联动,将代言人转化为品牌理念的“...[详细]

惠州丝苗米产业科技赋能品牌崛起,香飘全国成乡村振兴“金米粒”

近年来以“百千万工程”为抓手,通过科技革新、品牌培育与三产融合,推动丝苗米产业高质量发展,使其成为带动农户增收、推动乡村振兴的重要支柱。目前,惠州丝苗米年种植面积约89万亩,年总...[详细]

返回顶部