首页
首页
科学研究
科研动态
研发出面向大模型训练的自动3D并行智能计算框架
研发并开源了银河天璇自动3D并行智能计算框架（Merak），提供大模型自动3D划分、多维度计算调度、分布式模型加载和保存等能力，支持GPT、BERT、ViT等大模型的自动3D并行训练。该成果对于提升高性能平台的智能计算能力、促进国产计算平台智能软件生态发展具有重要意义，该框架软件已在天河新一代超算平台成功支撑了千亿参数大模型的并行训练。
- 2024-06-07
- 2024-06-07
- 2024-06-07
公安备案号：43010302000152