Барьером называется точка в параллельной программе, в которой параллельные процессы приостанавливаются и ждут выполнения какого-либо условия для возможности продолжения работы.

При глобальной барьерной синхронизации параллельные процессы продолжают свою работу только в том случае, если все они достигли данного глобального барьера.

При локальной барьерной синхронизации продолжение работы всех параллельных процессов возможно, если хотя бы один из них достиг данного локального барьера.

Оператор WAIT - это высокоуровневое средство решения проблемы обеспечения взаимного исключения процессов при доступе к общей (разделяемой) переменной в MPMD-ЯВУ. Оператор WAIT реализуется на основе семафоров ОС и имеет синтаксис WAIT <событие>.

Парный обмен данными - это обмен сообщениями между двумя процессами (обмен типа "точка-точка").

Коллективные обмены данными строятся на основе парных обменов и включают в себя следующие основные виды обменов: трансляционный обмен данными; коллекторный обмен данными; множественный трансляционный обмен данными; множественный коллекторный обмен данными.

Трансляционный обмен данными - это передача сообщения от одного процесса всем остальным процессам некоторой совокупности процессов (one-to-all broadcast).

Коллекторный обмен данными - это сбор данных от всех процессов некоторой совокупности процессов в один из процессов этой совокупности (single-node accumulation).

Множественный трансляционный обмен данными - это передача данных от всех процессов некоторой совокупности процессов всем процессам этой совокупности.

Множественный коллекторный обмен данными - это прием сообщений каждым из процессов некоторой совокупности процессов от всех процессам этой совокупности (multi-node accumulation).