Skip to content

Commit 1ed152d

Browse files
fix docs bugs (#6539)
1 parent 75d9e6a commit 1ed152d

File tree

1 file changed

+1
-1
lines changed

1 file changed

+1
-1
lines changed

docs/guides/06_distributed_training/group_sharded_parallel_cn.rst

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -30,7 +30,7 @@ GroupSharded 策略可以根据用户配置支持,分别切分模型参数、
3030
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
3131

3232
GroupSharded hybrid 数据并行策略,在 GroupSharded 并行的基础上再增加一层数据并行逻辑。
33-
该策略的目的是通过 ``限制 GroupSharded 通信的节点数`` 和 ``增加多路数据并行`` 来提高训练吞吐。 如果一个模型在普通 GroupSharded 训练时需要 M 张 GPU,则则开启 hybrid-dp 至少需要 N*M GPU (N>= 2)。
33+
该策略的目的是通过 ``限制 GroupSharded 通信的节点数`` 和 ``增加多路数据并行`` 来提高训练吞吐。 如果一个模型在普通 GroupSharded 训练时需要 M 张 GPU,则开启 hybrid-dp 至少需要 N*M GPU (N>= 2)。
3434

3535
GroupSharded-hybrid-dp 适用的场景如下:
3636

0 commit comments

Comments
 (0)