Конференции ИВТ СО РАН

Тезисы докладов

Рассматривается проблема нахождения оптимального набора информативных независимых признаков для искусственной нейронной сети, решающей задачу обучения с учителем (регрессия, классификация с учителем) [1,2]. Т.к. задача отсева шумовых, малоинформативных или дублирующих признаков в теории и практике искусственных нейронных сетей решена (см., например, обзор [3]), то задачей данной работы является процедура синтеза дополнительных, более информативных по сравнению с исходными, признаков, которые пополняют исходный набор признаков. Технология решения во многом аналогична существующим методам: так, при использовании метода линейных машин опорных векторов (SVM - Support Vector Machines) и линейной неразделимости задачи классификации используют нелинейное проецирование данных в пространство большей размерности (например, расширяя пространство независимых признаков попарными произведениями этих признаков), в котором линейная разделимость классов может достигаться.

Предлагается использовать рассчитанные информативности независимых признаков для принятия решения обученной нейронной сетью (или показатели чувствительности нейросетевого решения к изменениям значений независимых переменных) как способ упорядочивания признаков, и генерацию дополнительных признаков как парных произведений (именно синтез в виде парных произведений и экспериментально апробируется в работе) вести именно в пространстве наиболее информативных признаков.

Эксперименты проведены для ряда задач из коллекции Machine Learning Repository [4] - репозитория реальных задач, ставших уже стандартными тестовыми задачами для апробации и сравнения алгоритмов обучения с учителем. Графики ошибок обобщения нейросетевых моделей, построенные вдоль оси числа добавленных признаков, сопоставляются с соответствующими графиками свойств выборок (константа Липшица выборки и иные критерии оптимальности предобработки выборки данных [5,6]) и свойствами обученных нейросетевых моделей (такими, как критерий оптимальности Бартлетта [7]). Также исследуется набор стратегий обновления информации об относительной информативности признаков: наряду с ситуацией, когда порядок объединения исходных признаков в дополнительные определяется информативностями первоначально построенной нейромодели, также исследуются схема пересчета информативностей после добавления каждого очередного синтезированного признака (что также позволяет синтезировать новые признаки и на основе ранее синтезированных признаков) и схема случайного комбинирования признаков, не использующая оценку информативностей.

Литература
1. Хайкин С. Нейронные сети. Полный курс. М.: Вильямс, 2006. - 1104c.
2. Осовский С. Нейронные сети для обработки информации. М.: ФиС, 2002.
3. Царегородцев В.Г. Упрощение нейронных сетей - цели, идеи и методы // Нейрокомпьютеры: разработка, применение. 2002, №4. - с.5-13.
4. http://www.ics.uci.edu/~mlearn/MLRepository.html
5. Царегородцев В.Г. Оптимизация предобработки данных: константа Липшица обучающей выборки и свойства обученных нейронных сетей // Нейрокомпьютеры: разработка, применение. 2003, №7. - c.3-8.
6. Царегородцев В.Г. Оптимизация предобработки признаков выборки данных: критерии оптимальности // Нейрокомпьютеры: разработка, применение. 2005, №4.
7. Bartlett P.L. For valid generalization, the size of the weights is more important than the size of the network / Advances in Neural Information Processing Systems 9 (1996). MIT Press, 1997. - pp.134-140.

Примечание. Тезисы докладов публикуются в авторской редакции

Ваши комментарии Обратная связь

[Головная страница] [Конференции]

© 1996-2000, Институт вычислительных технологий СО РАН, Новосибирск
© 1996-2000, Сибирское отделение Российской академии наук, Новосибирск