马斯克开源Grok-1:史上最大3140亿参数模型,权重架构全面公开,附最新下载地址
马斯克开源Grok-1:史上最大3140亿参数模型,权重架构全面公开,附最新下载地址 马斯克的xAI公司正式开源了3140亿参数的大型语言模型Grok-1,包括权重和网络架构。这使Grok-1成为目前参数量最大的开源大语言模型。Grok-1采用混合专家(MoE)架构,在给定token上的激活权重为25%。xAI在2023年10月使用自定义训练堆栈从头训练了该模型,并遵守Apache 2.0许可证开
Copyright © 2023 蓝色空间互联.Inc. All rights reserved.