stabilityai推stablelm3b语言模型
10月3日消息,StabilityAI昨日发布公告,介绍了旗下一款名为StableLM3B的语言模型,号称适用于移动平台设备,“可为相关设备带来可持续、高性能的体验”。
▲图源StabilityAI
IT之家从公告中得知,这款StableLM3B模型包含30亿个参数,主打文本生成,拥有基于变换器解码器架构的自回归体系,并使用了多个开源大规模数据集进行训练。
▲图源StabilityAI
官方表示,该模型使用了30亿个参数,使用了256个NVIDIAA10040GBGPU训练而成,虽然参数相比同类大模型较少,但性能依然可圈可点,且由于该模型的体积较小、功耗更低,因此更适合移动平台使用。
此外,该模型拥有多平台兼容性,并允许根据特定需求进行微调,目前模型已经在HuggingFace平台上开源,方便开发者使用和改进
