Geum.ru

Программа факультативного курса "Нейросетевые технологии и введение в нейросемантику" для студентов

Вид материалаПрограмма
Подобный материал:

Министерство образования и науки Российской Федерации

Московский физико-технический институт

(государственный университет)


УТВЕРЖДАЮ

Проректор по учебной работе

___________Ю.А. Самарский

«______» ____________ 2008 г.


П Р О Г Р А М М А


факультативного курса "НЕЙРОСЕТЕВЫЕ ТЕХНОЛОГИИ и ВВЕДЕНИЕ в НЕЙРОСЕМАНТИКУ"

Кафедра: информатики

Лекции: 60 часов

Практические (семинарские) Зачет дифф. (экзамен).:

занятия: 40 часов 12 часов

Лабораторные занятия: 0

Самостоятельная работа

ВСЕГО ЧАСОВ: 112 часов

Программу составил к.ф.-м.н., доцент В.И. Бодякин

Программа обсуждена

на заседании кафедры

информатики

28 августа 2008г.


Заведующий кафедрой,

профессор И.Б. Петров

Программа факультативного курса "Нейросетевые технологии и введение в нейросемантику" для студентов и аспирантов МФТИ (к.ф.-м.н. с.н.с. ИПУ РАН Бодякин В.И.)


Аннотация:

В основе курса лежит знакомство с современными хорошо разработанными нейросетевыми технологиями и авторским курсом нейросемантики. Материал по нейросетевым технологиям хорошо отражен в литературе, см. список основная литература: Ф.Уоссермен и С.А.Терехов.

По поводу курса нейросемантики можно сказать,что он является эволюционным развитием направления нейросетевых технологий. В основе нейросемантики лежит теория, согласно которой при минимизации отображения информационного потока из физической предметной области, на нейроподобных средах формируется топологически гомомофная структура, которая является автоматически сформированной информационной моделью предметной области. В каждом нейроподобном элементе отображается процесс-объект априорно неизвестной предметной области. На этом этапе можно уже строить информационно-поисковые системы, процедурно включая эвристические методы обработки данных. Но в нейросемантике предполагается и дальнейшая автоматизация, а именно, автоматическое формирование правил на примерах, основанное на том же принципе минимизации отображения, только теперь уже дополнительно и состояний самой нейроподобной среды вызванного входным информационным потоком из предметно области. Это широкий фронт продолжающихся исследований, который может быть интересен и полезен дипломникам и аспирантам МФТИ.

С позиций нейросемантики предполагается: а) рассмотрение модели механизмов самоорганизации простейших информационных систем (ИС) и дальнейшее их эволюционное саморазвитие до уровня интеллектуальных ИС через ряд эволюционных аттракторов. б) рассмотрение необходимых базовых функций и конструирование нейроподобных элементов как простейших ИС и как элементную базу для направления нейросемантики. в) рассмотрение механизмов самоформирования интеллектуальных ИС на примере нейросемантических регуляторов. г) механизмы автоматического формирования моделей априорно неизвестных предметных областей.

Учебная задача курса: сформировать комплексную картину текущего состояния в области обработки крупномасштабных неструктурированных потоков информации (например, Интернет) и продемонстрировать студентам основные элементы процесса автоматизации посредством нейросетевого и нейросемантического подхода как обобщенного фундаментального научного направления.

Более подробно по направлению нейроинформатики можно посмотреть: см. список основная литература: В.И.Бодякин. и на сайте www.informograd.narod.ru/


Лекционный курс


ВВЕДЕНИЕ (занятие 1) (4 часа)

Автоматизация информационных процессов.

Понятие алгоритма. Формализация решения задачи.

Персептрон и фон-неймановская ЭВМ - два потока автоматизации обработки информационных процессов.

Эволюция поколений ЭВМ.

Элементная и программные базы (сегодняшнее состояние).

N-P полные задачи, "проклятие размерности", теоремы Геделя

Сравнительные характеристики нейросемантики и нейросетевого подхода.


НЕЙРОННЫЕ СЕТИ (40 часов)

(занятие 2)

Биологический нейрон. Типы. Характеристики. Нейронные структуры.

Сведения из биологии, физиологии высшей нервной деятельности

Математическая модель биологического нейрона - формальный нейрон Мак-Каллока и Питтса. Функциональные свойства.

(занятие 3)

Персептрон, линейная разделимость и теорема Розенблатта об обучении.

Алгоритм обучения персептрона. Обучение нейронной сети, как задача комбинаторной оптимизации. Анализ алгоритма обучения персептрона.

(занятие 4)

Правило Хебба. Конфигурации сетей с обратными связями.

Модель Хопфилда и ее обобщения.

Моделирование и анализ работы сети Хопфилда

(занятие 5)

Процедура обратного распространения.

Многослойные нейронные сети, иерархические нейронные сети.

Алгоритм обратного распространения ошибок.

Дальнейшие алгоритмические разработки.

Моделирование и анализ алгоритма обратного распространения ошибок

(занятие 6)

Сети встречного распространения. Введение в сети встречного распространения.

Структура сети. Нормальное функционирование.

Обучение слоя Кохонена. Обучение слоя Гроссберга.

Модели нейронной сети Кохонена. Адаптивный кластерный анализ и карта самоорганизации Кохонена. Приложение: сжатие данных.

(занятие 7)

Стохастические методы. Использование обучения.

Приложения к общим нелинейным задачам оптимизации.

Обратное распространение и обучение Коши.

(занятие 8)

Двунаправленная ассоциативная память. Структура ДАП.

Восстановление запомненных ассоциаций. Кодирование ассоциаций.

Емкость памяти. Непрерывная ДАП. Адаптивная ДАП. Конкурирующая ДАП.

Моделирование и анализ двунаправленной ассоциативной памяти

(занятие 9)

Адаптивная резонансная теория. Архитектура APT. Реализация APT.

Пример обучения сети APT. Характеристики APT.

(занятие 10)

Современные нейросетевые архитектуры, КОГНИТРОН и НЕОКОГНИТРОН Фукушимы.

Алгоритмы генетического поиска для построения топологии и обучения нейронных сетей.

(занятие 11)

Оптические нейронные сети. Векторно-матричные умножители.

Голографические корреляторы.

Области применения нейронных сетей, нейро-ЭВМ шестого поколения, нейропроцессоры, математическое обеспечение, научные и коммерческие приложения.


НЕЙРОСЕМАНТИЧЕСКИЕ СТРУКТУРЫ (12 часов)

(занятие 12)

Характеристики N-элемента и его основные свойства.

Пространственно-временное преобразование N-элемента.

Слои N-элементов, структуры слоев, иерархия структур.

Классы решаемых задач.

(занятие 13)

Характер и направленность законов эволюции материи. Физические и информационные среды. Природа информации. Метрика.

Понятие ресурса. Материальный, информационный, интеллектуальный и социально-экономический ресурсы. Энтропия физическая и информационная.

Абсолютная текстовая энтропия.

Относительная текстовая энтропия.

(занятие 14)

Информационный поток. Сигнал. Образ. Автоструктуризация. Инструментальные алгоритмы. Гомоморфность структур.

Технические характеристики: компрессия данных,

время доступа (идентификации) надежность хранения.

Моделирование на ЭВМ.


ЗАКЛЮЧЕНИЕ

(занятие 15) (4 часа)

Человек и машина. Информационная производительность.

Модифицированный тест Тьюринга. Феноменологический алгоритм.

Два класса задач. Автоматическое формирование правил. Естественная логика.

Преимущества и недостатки: ЭВМ - нейронные сети - биологический мозг.

Интеллектуальное рабочее место исследователя. Технологии работы.


ПРАКТИЧЕСКИЕ ЗАНЯТИЯ (40 часа)

Выбор и работа с моделью нейронной сети
  • Моделирование и анализ работы сети Хопфилда
  • Моделирование и анализ алгоритма обратного распространения ошибок
  • Моделирование и анализ статистической машины Больцмана.
  • Моделирование и анализ двунаправленной ассоциативной памяти
  • Моделирование и анализ алгоритмов на теории адаптивного резонанса (АРТ).
  • Вывести энергетическую функцию сети Хопфилда для задачи оптимального размещения смесей кода и данных в многопроцессорной архитектуре “гиперкуб”.
  • Нейросематическая модель автоструктуризации.
  • Нейросематическая модель информационно-поисковой системы.
  • Самостоятельно предложенная модель.


Литература:

Основная
  • Ф. Уоссермен. Нейрокомпьютерная техника. Москва: Мир, 1992.
  • С.А.Терехов Лекции по теории и приложениям искусственных нейронных сетей Лаборатотория Искусственных НС НТО-2, ВНИИТФ, Снежинск
  • Бодякин В.И. Основы эволюциологии. Информационный подход . М.,1998, СИНТЕГ, 332с

u/stran/bod/monograf.htm


Дополнительная
  • А.И. Галушкин. Синтез многослойных схем распознавания образов. Москва: Энергия, 1974.
  • Арбиб М. Метафорический мозг. М., Мир, 1976г. стр. 295.
  • Линдсей П., Норман Д. Переработка информации у человека. М., Мир, 1974.-546с.
  • Т. Кохонен. Ассоциативная память. Москва: Мир, 1980.
  • Ф. Розенблатт. Принципы нейродинамики. Москва: Мир, 1965.
  • М. Минский, С. Пейперт. Персептроны. Москва: Мир, 1971.
  • Н. Винер. Кибернетика. Москва: Советское радио, 1968.
  • А.А. Веденов. Моделирование элементов мышления. Москва: Наука, 1988.
  • А.Ю. Лоскутов, А.С. Михайлов. Введение в синергетику. Москва: Наука, 1990.
  • С.О. Мкртчян. Нейроны и нейронные сети. Москва: Энергия, 1971.
  • А.Н. Горбань. Обучение нейронных сетей. Москва: СП "Параграф", 1990.
  • Поспелов Г.С. Искусственный интеллект - основа новой информационной технологии. М., Наука,1988.-279с.