Структурно коммуникационная среда состоит из трех следующих компонентов (см. рис. 1), где - узел сети (процессор или компьютер).
Рис. 1.  Структура коммуникационной среды.
Сетевые адаптеры.
При обмене данными между узлами сети, не являющимися ближайшими соседями, происходит трансляция данных через промежуточные узлы. Очевидно, что в узлах должны находиться какие-то аппаратные средства, которые освобождают процессоры узлов от участия в трансляции данных. Одной из основных функций сетевых адаптеров является обеспечение трансляционных обменов данными в сети.
Сетевой адаптер содержит приемопередающую часть, связанную с узловым процессором сети, приемопередающую часть, связанную с сетью, и, обычно, согласующие буферы (см. рис. 2).
Основной функцией приемопередающей части адаптера, связанной с шиной узла, является реализация протокола этой шины. Основной функцией приемопередающей части адаптера, связанной с коммуникационной сетью, является реализация протокола сети. Функцией сетевого адаптера может быть также обеспечение когерентности памяти узла сети.
Рис. 2.  Структура сетевого адаптера.
Заметим, что на основе высокоскоростных сетевых адаптеров, поддерживающих протоколы когерентности кэш-памяти, строятся NUMA-системы.
Если на узловом процессоре одновременно функционирует несколько прикладных процессов, то сетевой адаптер узла может стать узким местом системы, поскольку за доступ к нему могут бороться прикладные процессы и процессы операционной системы. Поэтому иногда узловой процессор снабжают двумя сетевыми адаптерами: одним - для процессов операционной системы; другим – для прикладных процессов.
Коммуникационные сети.
Коммуникационные сети подразделяются на широкомасштабные коммуникационные сети (Wide Area Networks) – WAN-сети и локальные коммуникационные сети (Local Area Networks) – LAN-сети.
Адресация в сетях. Множество адресов, допустимых в рамках некоторой схемы адресации, называется адресным пространством коммуникационной сети. Адресное пространство может иметь линейную или иерархическую организацию.
В линейном адресном пространстве коммуникационной сети множество адресов не структурировано, все адреса равноправны. Примером линейного адресного пространства является пространство MAC (Media Access Control)-адресов, которые предназначены для однозначной идентификации сетевых интерфейсов в локальных сетях. MAC-адреса распределяются между изготовителями специальным комитетом IEEE и встраиваются в аппаратуру при ее изготовлении.
Типичным представителем иерархического адресного пространства коммуникационной сети является пространство сетевых 4-байтовых IP (Internet Protocol)-адресов, используемых для адресации узлов в WAN-сетях. IP-адреса являются двухуровневыми: адрес делится на старшую часть (номер сети) и младшую часть (номер узла в сети). Такая организация IP-адресов позволяет передавать сообщения между сетями только на основании номера сети. Номер узла используется после доставки сообщения внутри сети.
Сетевые протоколы. Правила, определяющие последовательность и формат сообщений, которыми обмениваются узлы сети, называются сетевым коммуникационным протоколом. Обычно используется набор протоколов различного уровня.
В WAN-сетях обычно используются протоколы коммутации пакетов OSI (Open System Interconnection): в пункте отправления сообщение разбивается на порции (пакеты); пакеты посылаются по адресу назначения; в пункте назначения осуществляется сборка сообщения из пакетов.
В параллельных вычислительных системах используются LAN-сети и как протоколы коммутации пакетов, так и протоколы коммутации каналов. Для того, чтобы уменьшить накладные расходы в LAN-сетях используют более простые протоколы обмена.
Основным стандартом для коммуникационных протоколов является широко известная модель OSI, разработанная в начале 80-х годов. Модель OSI имеет семь уровней (см. рис. 3).
Рис. 3.  К модели OSI
Самой распространенной технологией на физическом и канальном уровнях является технологии Ethernet. Обычно локальные сети строятся на основе именно этих технологи. Технологии Ethernet, Fast Ethernet, Gigabit Ethernet обеспечивают скорость передачи данных, соответственно, 10, 100 и 1000 Мбит/с.
Поскольку коммуникационная среда является разделяемым ресурсом, возможны ситуации, когда два узла пытаются одновременно передать кадр данных. Такая ситуация приводит к искажению информации и называется коммуникационной коллизией. В технологии Ethernet предусмотрен специальный механизм для разрешения коллизий.
Основной недостаток сетей, построенных по технологии Ethernet, состоит в том, что в них в единицу времени может передаваться только один пакет данных. Для обеспечения высокой производительности таких сетей их не следует загружать более чем на 30–40% ее максимальной пропускной способности. Пропускная способность Ethernet-сетей значительно повышается при использовании сетевых коммутаторов.
Для построения высокоскоростных коммуникационных сетей используют, например, технологию SCI (Scalable Coherent Interface) с пиковой пропускной способностью на аппаратном уровне 400 Мбит/сек.
Важнейшей характеристикой коммуникационной сети является топология коммуникационной сети, под которой понимается способ соединения процессорных узлов между собой каналами передачи данных. Топологию коммуникационной сети принято изображать в виде графа, вершины которого соответствуют процессорным узлам, а ребра – каналам связи.
Практически каждая параллельная вычислительная система имеет свою оригинальную топологию коммуникационной сети. Это связано с тем, что невозможно соединить много узлов быстрыми каналами связи по типу «каждый с каждым». Поэтому в параллельных вычислительных системах быстрый обмен информацией осуществляется не между всеми узлами, а только между некоторыми. Все остальные обмены осуществляются относительно медленно.
Указанное разделение связей на быстрые и медленные, во-первых, порождает многообразие топологий коммуникационных сетей, а, во-вторых, является одной из основных причин ограниченности класса алгоритмов, которые могут быть эффективно реализованы на параллельной вычислительной системе.
Быстрые обмены осуществляются по некоммутируемым линиям связи, медленные – либо через сетевые коммутаторы, либо с помощью последовательных быстрых обменов.
Сетевые коммутаторы.
Существует много типов сетевых коммутаторов (commutator, switch) - (см. ниже). При построении LAN-сетей широко используются также сетевые концентраторы (concentrator, hub). Концентратор на один из своих портов принимает сигналы от одного из узлов сети и синхронно передает их на все свои остальные порты, соединенные с другими узлами сети (см. рис. 4).
Рис. 4.  Схема использования сетевого концентратора.