Персептроны.
Простейшая ИНС, однослойная, с релейной функцией предложена Мак-Каллоком и Питтсоном. В 60-х гг. стали предметом всеобщего интереса. В 62-м г Розенблат доказал теорию об обучении персептрона, в 69-м г. Марвин Минский доказал ограниченность возможностей персептрона, которая надолго затормозила развитие ИНС.
Проблема представимости
Теория Розенблата утверждает, что персептрон способен научиться всему, что он может представлять (моделировать, реализовывать).
Рассмотрим в качестве примера функцию «исключительное ИЛИ».
В ФН реализуется x * w1 + y * w2 = NET
NET = 0.5
x * w1 + y * w2 = 0.5
y = (0.5 – w1 * x) / w2
Очевидно, что невозможно подобрать коэффициенты так, чтобы т. А оказалась по одну сторону линии, а т. В по другую. Таких функций много и они называются линейно неразделимыми.
|
N |
Кол-во функций |
Кол-во лин.-раздел. ф-й |
|
2 |
16 |
14 |
|
4 |
64 К |
1882 |
|
6 |
1,8 * 109 |
15 * 106 |
Таким образом, количество линейно-разделимых функций невелико. В середине 70-х гг. проблема линейной разделимости была частично реализованной. Область называется выпуклой, если отрезок, соединяющий любые 2 точки, лежит внутри области.
Область ограниченная, если может быть заключена в шар конечных размеров.
В зависимости от коэффициентов, линия, разделяющая область 0 и 1, может идти под разными углами к осям.
ФН1 и ФН2 вместе и с учетом ФН3 реализуют функцию “И”, образуют ограниченную область. Если в 1-й слой добавить ФН4, то можно обеспечить реализацию замкнутой области, внутри которой выходной сигнал будет равен 1. Если в 1-м слое увеличить число нейронов, то можно использовать кусочно- линейную аппроксимацию ююбой области.
Если необходимо реализовать невыпуклые ограниченные области, то можно взять 2 группы нейронов и заставить нейрон 3-го слоя осуществить операцию вычитания.