Искусство в IT-технологиях...

Нестерук Татьяна Никифоровна. Разработка модели адаптивного корпоративного сайта и инструментария для повышения эффективности маркетинговых решений, 2006

Обучение НС по алгоритму обратного распространения ошибки

Процесс обучения нейронной сети сводится к задаче многомерной оптимизации по функции ошибки. Хорошие результаты по обучению нейронных сетей получены при использовании алгоритмов локальной оптимизации в сочетании с процедурой преодоления локальных минимумов и увеличением числа формальных нейронов [5].
Алгоритм обратного распространения ошибки относят к алгоритмам локальной оптимизации.
В алгоритме обратного распространения ошибки (рис. 1.2) выделяют две фазы. В течение первой фазы по заданному вектору входных сигналов рассчитывают текущее значение выходного вектора (прямое распространение сигналов - input signals). В течение второй фазы находят координаты вектора ошибки путем сравнения расчетного и желаемого выходных векторов. В случае недостаточной степени близости последних векторов производят обратное распространение сигналов ошибки (error signals) и коррекцию системы взвешенных межнейронных связей, которая минимизирует модуль вектора ошибки.
Обучение нейронной сети в соответствии с алгоритмом обратного распространения ошибки проходит определенные этапы [2]:
Выполнить начальную инициализацию нейронной сети: весам связей НС присвоить малые случайные значения из диапазонов их изменения.
Выбрать очередную пару значений из множества обучающих пар
Yu)},u = 1,2 М; подать входной вектор Хи на вход НС.

3. Вычислить значение выходного вектора Qu нейронной сети.
• выбора генетических операторов для моделирования эволюции, как правило, скрещивание и мутация.
Сначала нумеруют все узлы нейронной сети (рис. 1.3), начиная с входного слоя, и размещают в квадратной матрице связей, число строк и столбцов которой равно количеству узлов в НС. Каждый элемент матрицы соответствует отдельной межнейронной связи и равен значению веса связи. Для отсутствующих межнейронных связей элемент матрицы равен 0. Для слоистых НС элементы матрицы связей, расположенные на главной диагонали и выше, равны 0.
В качестве генов хромосомы выбираются значения весов связей, ассоциированные с входами соответствующих ФН - группа весову расположенная в строке матрицы весов. В качестве целевой функции -обратная величина евклидова расстояния между расчетным и целевым значениями выходов, а в качестве генетических операторов скрещивание и мутация.
Оператор пересечения берет две родительских хромосомы из популяции и создает дочерние хромосомы с генетическим материалом от обоих родителей, а оператор мутации в каждом весе случайно выбранного гена хромосомы вызывает незначительное случайное изменение значения.
Аналогичным образом эволюционную методику используют для оптимизации топологии 11С, т.
е. числа межнейронных связей и Ф11 в НС [86]. Составляется матрица связей сети, каждый элемент которой отмечается единицей, если связь между узами НС присутствует. Как и в предыдущем случае для НС элементы матрицы связей, расположенные на главной диагонали и выше, равны 0. Хромосома образуется путем последовательного соединения всех строк матрицы связей. Архитектурные изменения НС, связанные с изменением числа ФН, приводят к изменению размерности матрицы связей и длины хромосомы. Изменение состава связей при фиксированном числе ФН изменяет местоположение единиц в хромосоме.
Эволюционный процесс состоит из ряда обязательных этапов [3]:
Задают размер популяции хромосом, вероятности выполнения операторов скрещивания и мутации, а также число эволюционных циклов.
Выбирают целевую функцию для оценки целесообразности включения дочерних хромосом в популяцию, например, минимум евклидова расстояния между расчетным и целевым значениями выходов сети.
Популяция формируется из случайной совокупности хромосом.
Выбирают одну из хромосом популяции, для которой инициируют начальные значения весов малыми случайными числами и вычисляют значение функции соответствия.
Действия по и.
4 повторяют для всей популяции хромосом.
В зависимости от значения целевой функции (или случайно) отбирают 2 хромосомы и, применяя эволюционные операторы, создают 2 дочерних хромосомы. Оператор пересечения в родительских хромосомах случайно выбирает гены и производит взаимный обмен, а оператор мутации с малой вероятностью инвертирует один или два бита в хромосоме.
Создают новую популяцию, включив в нее дочерние хромосомы.
Действия по П. 6, 7 повторяют, пока размер новой популяции хромосом не достигнет размера исходной популяции.
Действия с п. 4 повторяют, пока не сменилось заданное число популяций.
Генетические алгоритмы являются эффективным средством оптимизации информационного поля НС - как топологии, так и системы взвешенных межнейронных связей.
предыдущий следующий
= К содержанию =


Обучение НС по алгоритму обратного распространения ошибки - релевантная информация:

  1. НС обучаемые по образцам
    обученная нейронная сеть фиксирует в системе взвешенных межнейроиных связей, которая образует адаптивное избыточное распределенное информационное поле нейронной сети. Процесс преобразования входного векгора в выходной выполняется за счет взаимодействия оперативной информации в виде входного и промежуточных (межслойных) векторов с накопленными в информационном поле знаниями. Преобразование
  2. Обучение НС с использованием генетического алгоритма
    обучения с учителем, а самой популярной реализацией данного метода является алгоритм обратного распространения ошибки - ВРЕ (Back Propagation of Error) [2, 5,83,
  3. НС встречного распространения
    обучения скрытого слоя нейронной сети (самоорганизующаяся карта Кохонсна) и метод обратного распространения ошибки для обучения выходного слоя НС [2,90,91]. В рабочем режиме слой Кохонена реализует целевую функцию «победитель получаст все»: для данного входного вектора только один формальный нейрон слоя Кохонена активен, а выходной слой формирует выходной вектор. В режиме обучения слой
  4. Нейро-экспертные системы
    обучению, но проводимые ими рассуждения понятны и «прозрачны», в то время как нейронная сеть может обучаться, но действует как "черный ящик". Совокупность качеств делают нейронные сети и экспертные системы хорошими кандидатами на формирование гибридной интеллектуальной системы, называемой нейронной экспертной системой. Нейронные экспертные системы используют обученную нейронную сеть вместо базы
  5. 2.4.3. Генетический алгоритм адаптации нейро-нечетких сетей в составе корпоративного сайта
    обучения НС), а генетические алгоритмы - для оптимизации информационных полей НС. Рассмотрим генетический алгоритм обучения нечеткой НС при представлении информационного поля НС как системы нечетких связей [59, 99]. Исходный набор нейро-нечетких сетей образует популяцию нейронных сетей с различными наборами хромосом, которые отличаются значениями весов локальных связей в составе нечетких связей.
  6. Алгоритм обратного распространения ошибки
    обучения г), а результат прибавляется к значению веса связи. Л Щ = П xt q (1 - q) (у - q) = ц х> 8 . "м.к(л+1) = w^n) + Т. е. вычисляется производная функции активации - в случае сигмоидальной функции выполняются операции вычитания и умножения q(I - q), определяется ошибка выхода (у - q), и полученные значения умножаются на скорость обучения Данная последовательность операций
  7. 2.4.4. Аналитические исследования алгоритмов адаптации НС с нечеткими связями
    обучения нейронных сетей, использующие систему нечетких связей, а именно: генетический алгоритм и алгоритм минимизации расхождений в координатах расчетного и целевого выходных векторов. Первый использует эволюционную методику подбора последовательности размещения взвешенных локальных связей в пределах соответствующих нечетких связей в процессе обучения. Второй характеризуется направленностью
  8. Выводы по главе 2
    обучения нейро-нечеткой сети; 2) способность нейронных и нейро-нечетких сетей к классификации и кластеризации; 3) способность информационного ноля нейронных и нейро-нечетких сетей к накоплению знаний в процессе обучения и возможность наследования опыта путем переноса информационных полей НС в новую модификацию корпоративного сайта. Предложены алгоритмы обучения нейро-нечетких сетей, базирующиеся
  9. 2.4.1. Специфика адаптации классификаторов с нечеткими связями
    обучения нейро-нечеткой сети сопровождается перераспределением локальных межнейронных связей в пределах нечетких связей. При использовании метода обратного распространения ошибки в зависимости от значений координат вектора ошибки текущего слоя иейро-иечеткой сети при конкретной форме семантики и заданном количестве межнейронных связен соответствующего слоя сети производится внутрислойная
  10. 3.1 Моделирование бизнес процессов торговых операций
    обучение и т.д.), могут использовать Интернет в большей степени, чем остальные. Например, компании, торгующие физическими товарами, могут осуществлять свои продажи и пост продажное обслуживание через Интернет, а также трансформировать свои отношения с деловыми партнерами (поставщиками и производителями) в электронную форму. Тип товара не определяет уровень преимуществ от использования Интернет.