知未智能科技发布 1400 亿参数知未智能 KDF 大模型

据 IT 之家 7 月 25 日报道，北京知未智能科技有限公司日前在上海发布了知未智能 KDF 大模型，以及基于该模型研发的一系列产品，包括“KDF 智讯”、“KDF 绝未”、“KDF 中书”等金融行业工具。

据悉，知未智能 KDF 大模型的训练数据以中文为主，并包含大量的金融数据，以提升模型在商业和金融领域的问题处理能力。此外，训练数据中还融合了部分英文与代码数据，以适应模型的通用能力。在训练过程中，知未智能 KDF 大模型将单个汉字视为独立的 Token 进行处理。模型参数量达 1400 亿，训练 Token 数达到 4000 亿。

知未智能科技 CEO 段清华表示，现有通用大模型在具体行业应用性和中文能力方面的局限是知未智能选择从零训练知未智能 KDF 大模型的主要原因，Chatglm 在具体行业应用能力上相对薄弱，MOSS 采用英文模型为基底而对中文支持不足，LLaMA 训练数据大多为英文数据而中文能力相对较弱了，因此研发团队选择从零开始训练知未智能 KDF 大模型，以便更好地提升其中文能力以及行业适用性。