Процедура обратного распространения ошибки

Используется для обучения многослойной ИНС. Основная идея: если известна ошибка, известна производная сжимаемой функции, то можно решить задачу в обратную сторону, определить приблизительно насколько надо изменить веса, чтобы минимизировать ошибку.

Точная реализация идеи, строго говоря, невозможна так как даже для выходного слоя, для которого известны числовые значения выходов, нельзя сказать, в чем причина ошибки: то ли неправильные коэффициенты в последнем слое, то ли на их входы подаются неправильные значения с предыдущего слоя. Для скрытых слоев вообще неизвестны ни правильные значения входов, ни правильные значения выходов, ни тем более коэффициент передачи. Более того, если для выходного слоя можно однозначно определить направления желаемой коррекции, то для нейронов скрытых слоев, связанных с несколькими выходными нейронами однозначно трудно сказать, в какую сторону надо изменять OUT (увеличивать, а для другого выходного направления его надо уменьшать).

Очевидно, что процесс настройки даже при полном обучении от выхода к входу будет носить итерационный характер. Важно не столько правильно определять значение корректирующего воздействия (оно влияет на количество итераций), сколько вообще правильно определить направление коррекции, что обеспечит сходимость алгоритма обучения.

Противоречия между необходимостью одновременного увеличения и уменьшения выходов скрытого слоя разрешается чаще всего по методу средних квадратов: минимизируется сумма квадратов ошибок по всем выходам последнего слоя.

Рис. 24-0.

Рис. 24-1.

После одного шага корректировки весов выходного слоя поочередно слой за слоем от выхода ко входу корректируются веса.

Отличие в том, что:

1)Ошибки скрытого слоя получаются расчетным путем через ошибки выходного слоя.

2)Т.к. каждую ошибку скрытого слоя минимизировать нельзя в отличие от выхода минимальная средне квадратичная ошибка выходных нейронов всего слоя.

Рис. 24-2.

Процесс носит итерационный характер, требующийся много раз предъявить набор обучающих пар.

Примечание: существует ряд модификаций метода ориентированных  на улучшение сходимости: добавление нейронного смещения (сдвигает начало отсчета функции), метод импульса (учитывает коррекцию на предыдущем шаге, так же как и метод экспертного сглаживания), использование производных второго порядка.