斯坦福大学推出端侧大模型Octopusv2，可在手机端运行
米塔之家 · 2024-04-08 17:49:37
据 Arxiv 页面显示，斯坦福大学研究团队近日推出了一款全新的大模型 Octopusv2。
Octopusv2是一款拥有20亿参数的开源语言模型，专为在Android设备上运行而设计，同时也适用于汽车、个人电脑等其他端侧设备。该模型在准确性和延迟方面的表现超越了GPT-4，并且在上下文长度上减少了95%，显示出了显著的性能优势。
Octopus-V2-2B模型的开发过程中，研究团队采用了创新的函数token策略，这使得模型在训练和推理阶段能够高效地生成复杂的函数调用。
