深度学习模型参数量和训练数据集的爆炸式增长，以 Llama 3.1 为例：4050 亿参数、15.6 万亿 token 的训练量，如果仅靠单 GPU可能需要数百年才能跑完，或者根本无法加载模型。 并行计算（Parallelism）通过将训练任务分发到多个 GPU（单机多卡或多机多卡），并利用 ...