在程式設計和資料處理領域，集合通信（collective communication）是並行計算中用於多個進程之間交換資料的操作。以下是常見的集合通信操作及其含義：
1. 廣播（Broadcast）#
- 操作：將資料從一個進程發送給所有其他進程。
- 含義：一個進程擁有某個資料，它需要將該資料分發給所有其他進程。這通常用於使所有進程共享某個相同的值。
- 示例：在分佈式計算中，一個主進程需要將配置參數發送給所有工作進程。
2. 归约（Reduce）#
- 操作：將多個進程的資料按照某種運算（如求和、最大值、最小值等）聚合，並將結果發送到一個指定的進程。
- 含義：多個進程各自擁有一部分資料，想要通過某種合併操作得到一個最終結果，並將其傳遞給主進程。
- 示例：求各個節點計算結果的總和，然後將總和傳遞給主節點。
3. 全归约（All-Reduce）#
- 操作：與归约相似，但最終的归约結果會發送給所有進程。
- 含義：所有進程需要共享归约操作後的最終結果，而不是僅發送給一個進程。
- 示例：在深度學習中，多節點需要同步梯度資訊以更新模型參數。
4. 散播（Scatter）#
- 操作：將一個進程中的資料分塊，分別發送給其他進程，每個進程接收到其中一部分。
- 含義：一個進程擁有大量資料，需要分配給多個進程以便進行分佈式計算。
- 示例：在矩陣乘法中，將一部分矩陣行分配給不同節點進行並行計算。
5. 收集（Gather）#
- 操作：與散播操作相反，多個進程各自擁有資料，最終將它們聚集到一個進程中。
- 含義：多個進程處理完各自部分的資料後，需要將結果合併到一個進程。
- 示例：在並行處理後，主進程需要收集各個子進程的結果來構建最終結果。
6. 全收集（All-Gather）#
- 操作：每個進程將自己的資料發送給所有其他進程。
- 含義：每個進程擁有獨立的資料，最終所有進程都需要共享所有進程的資料。
- 示例：在分佈式學習中，每個節點的局部梯度需要發送給所有其他節點以便更新參數。
7. 全对等（All-to-All）#
- 操作：每個進程將自己的資料發送給所有其他進程，並且每個進程也會接收到來自所有其他進程的資料。
- 含義：所有進程需要彼此交換資料，通常用於需要全局通信的場景。
- 示例：在並行排序演算法中，各個節點需要交換部分排序資料以進行全局排序。
8. 扫描（Scan）#
- 操作：按順序累積多個進程的資料，結果是每個進程都收到該進程及之前進程的資料累積結果。
- 含義：一種前綴累積操作，各個進程獲取到之前所有進程資料的合併結果。
- 示例：用於計算累積和或累積乘積等操作。
這些集合通信操作在分佈式計算和並行演算法中非常重要，它們幫助多個處理單元高效地進行資料交換和同步。