Meta提出动态tanh（DyT）技术
米塔之家 · 2025-03-17 09:17:36
通过动态调整激活函数参数替代传统归一化层，使Transformer模型训练速度提升20%，在文本生成任务中错误率降低15%。
价值说明：该技术将降低大模型训练门槛，中小团队可用更少算力训练高性能垂直领域模型。
