Size tokens Parameters non-embedding Test Loss 101 OpenAl 商业模式 ( 循环以下四步 ) ■ 1, 华尔街融资 ■ 例子： 2019-21 年融资 20 亿美元 2, 购买最新 GPU ■ 例子：购买 2.5 万 A100 GPU ( 英伟达挣钱 ) ■ 3, 用最新 GPU 训练性能领先的大模型 ■ 例子：

工程创新：新的范式降低后训练和蒸馏门槛，模型效果大幅提升， 出现平权现象，引发新一波的“百模千态” 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024 2025 2026 训练的算力需求将持续增长，算力结构从“预训练为主” 走向 “预训练 + 后训练