Пусть - заданная матрица невырожденная (*) с отличными от нуля диагональными элементами, – известный (*1)-вектор, а – неизвестный (*1)-вектор. Рассмотрим систему линейных алгебраических уравнений

(1)

Представим матрицу в виде суммы ее диагональной части

и внедиагональной части

В этих обозначениях итерационная формула метода Якоби имеет вид

(2)

где (*)-матрица , а (*1)-вектор , - начальное приближение к решению системы (1).

Нам понадобится представление формулы (2) в виде

где , - -е элементы векторов , , соответственно; (,) - скалярное произведение строки матрицы на вектор .

В качестве условия окончания итераций (2) обычно используется условие

(3)

где (-) - невязка решения СЛАУ (1) на -ой итерации, - заданный скаляр (требуемая точность решения), векторная норма в формуле (3) - евклидова норма

(4)

или норма

(5)

Здесь- - строка матрицы , - -й элемент вектора .

Условия сходимости итерационного процесса (2) к решению системы (1) дают следующие теоремы, которые мы приведем без доказательства.

Теорема 1. Если матрица имеет строгое диагональное преобладание, то итерации метода Якоби сходятся при любом начальном приближении

Теорема 2. Если матрица =- симметрична и положительно определена, то итерации метода Якоби сходятся при любом начальном приближении тогда и только тогда, когда матрица + положительно определена

Напомним, что матрица называется матрицей со строим диагональным преобладанием, если для всех имеет место неравенство

Положим для простоты записи, что число строк (и столбцов) матрицы кратно количеству процессоров в системе, т.е. что величина кратна величине (так что =). Положим также для определенности, что в качестве векторной нормы в условии окончания итераций (3) используется евклидова норма (4).

Поскольку вычисление компонент матрицы и вектора необходимо выполнить лишь однажды, основной операцией в (2) является операция матрично-векторного произведения . Рассмотрим схему распараллеливания метода Якоби при использовании алгоритма вычисления матрично-векторного, основанного на скалярных произведениях (см. §1).

В рассмотренной параллельной схеме метода Якоби на каждой итерации процессор должен, во-первых, передать всем остальным процессорам системы свою часть вектора и, во-вторых, до получения от этих процессоров их частей вектора (что позволяет ему сформировать весь вектор ) не может продолжить итерации. Т.е. в рассмотренной схеме процессоры должны выполнять синхронные итерации. Сходимость метода Якоби может иметь место также и при использовании асинхронных итераций, когда процессор начинает следующую итерацию до получения всех новых компонент вектора . Т.е. в качестве не полученных компонент вектора можно использовать значения этих компонент, полученные на предыдущей итерации.

При использовании синхронных итераций и евклидовой нормы (4) в условиях окончания итераций (3), приходится на каждой итерации вычислять и передавать на один из процессоров системы соответствующие части суммы в норме (4) – см. пп. 3.2, 3.4. Это обстоятельство может значительно снизить эффективность метода. Уменьшить количество обменов можно, если использовать асинхронные итерации и норму (5). В этом случае в качестве условия окончания итераций на процессоре следует использовать условие

т.е. проверять выполнение условия (3) только для «своих» компонентов вектора .

Для решения методом Якоби ленточных систем разработаны различные модификации этого метода, например, блочные методы.

Наряду с методом Якоби в вычислительной практике используются параллельные варианты метода Гаусса-Зейделя, метода последовательной верхней релаксации и их модификации, ориентированные на решение ленточных СЛАУ.