浪潮信息发布千亿级开源大模型“源 2.0”
米塔之家 · 2023-11-28 10:14:32
11 月 27 日报道，浪潮信息正式发布千亿级开源大模型“源 2.0”。源 2.0 采用 LFA（Localized Filtering-based Attention）局部依赖的自注意力机制，可有效捕捉局部信息和短序列信息，使得模型能够更精准地掌握上下文之间的强语义关联，学习人类语言习惯范式和编程能力。
