Сети встречного распространения

Во многих случаях, например в задачах классификации, не нужны все возможности многослойной ИНС обратного распространения и в тоже время желательно сохранить время обучения.

СВР (предложил Р. Хехт - Нильсен) во многих случаях легко, решать эти задачи, является быстрой моделью 1-го приближения, имеющей свои преимущества и даже отдельные уникальные возможности. Название особого смысла не имеет, примерно по одному из первых конкретных примерах. По сути СВР объединяет в себе две сетевых идеи:

1)самоорганизующаяся карта Кохонена.

2)Звезда Гроссберга.

Первый слой Кохонена работает по принципу победитель забирает все: срабатывает только один нейрон, только он подстраивает свои коэффициенты, выход остальных нейронов сбрасывается в 0, коэффициенты их не меняются. Таким образом, слой Кохонена определяет к какому классу относится входной вектор, своего рода осуществляет унитарное кодирование.

Слой Гроссберга – обучаемый преобразователь унитарного кода в позиционный, обучение в данном случае без учителя.

Т.к. скалярное произведение NETi=X*Wi - мера сходства входного вектора ??? нейрон, с вектором весов, наиболее близким входному вектору. Тогда wli(n+1)= wli (n)+η(xl-wli)

Выбор начальных значений W

Небольшие случайные значения, входные векторы нормируют (в ряде случаев есть хоть какая то информация, ее можно использовать в качестве начального приближения). Рандомизация весов проблематична, тогда векторы распространяются равномерно по многомерной сфере, а входные векторы, как правило, группированы. Вследствие этого большая часть входных нейронов никогда не будет срабатывать. Если в пределах нескольких смежных классов есть только один весовой вектор, классы будут объединены в один. Если образуется ситуация – чуть ли не каждому вектору свой класс. В идеале распространение весовых векторов в соответствии с плотностью входных. Есть конкретные методы, например метод выпуклой комбинации.