Д.Хебб, исследуя поведение природных нервных клеток, зафиксировал (1949 г.) усиление связи двух взаимодействующих клеток при их одновременном возбуждении. Это позволило ему предложить правило уточнения входных весов нейрона в следующем виде:

где — коэффициент обучения, значение которого выбирается из интервала (0, 1). Правило Хебба применимо для нейронов с различными функциями активации. Обучение нейрона может производиться как с учителем, так и без него. В первом случае в правиле Хебба вместо фактического значения выходного сигнала используется ожидаемая реакция .
Особенностью правила Хебба является возможность достижения весом произвольно большого значения за счет многократного суммирования приращения в циклах обучения. Одним из способов стабилизации процесса обучения по Хеббу служит уменьшение уточняемого веса на величину, пропорциональную коэффициенту забывания . При этом правило Хебба принимает вид

Значение коэффициента забывания выбирается из интервала , рекомендуется соблюдать условие .
К сожалению, при обучении по правилу Хебба нейрона с линейной функцией активации стабилизация не достигается даже при использовании забывания. В 1991 г. Е.Ойя предложил модификацию правила Хебба, имеющую следующий вид: