Выбор количества нейронов и слоев
Рассмотрим многомерную функцию y = f (x), где вектор y имеет N0 компонент, а вектор x — NI компонент. Самый простой способ формализации — использовать сеть с NI входами и N0 выходами.
Компоненты вектора x подаются на вход сети, y — снимаются на выходе. Сеть обучается на известных значениях функции f.
Нет строго определенной процедуры для выбора количества нейронов и количества слоев в сети. Чем больше количество нейронов и слоев, тем шире возможности сети, тем медленнее она обучается и работает и тем более нелинейной может быть зависимость вход-выход.
Количество нейронов и слоев связано:
1) со сложностью задачи;
2) с количеством данных для обучения;
3) с требуемым количеством входов и выходов сети;
4) с имеющимися ресурсами: памятью и быстродействием машины, на которой моделируется сеть;
Были попытки записать эмпирические формулы для числа слоев и нейронов, но применимость формул оказалась очень ограниченной.
Если в сети слишком мало нейронов или слоев:
1) сеть не обучится и ошибка при работе сети останется большой;
2) на выходе сети не будут передаваться резкие колебания аппроксимируемой функции y (x).
Превышение требуемого количества нейронов тоже мешает работе сети.
Если нейронов или слоев слишком много:
1) быстродействие будет низким, а памяти потребуется много — на фон-неймановских ЭВМ;
2) сеть переобучится: выходной вектор будет передавать незначительные и несущественные детали в изучаемой зависимости y (x), например, шум или ошибочные данные;
3) зависимость выхода от входа окажется резко нелинейной: выходной вектор будет существенно и непредсказуемо меняться при малом изменении входного вектора x;
4) сеть будет неспособна к обобщению: в области, где нет или мало известных точек функции y (x) выходной вектор будет случаен и непредсказуем, не будет адекватен решаемой задаче.
Данные, подаваемые на вход сети и снимаемые с выхода, должны быть правильно подготовлены.
Один из распространенных способов — масштабирование:
x =(x' − m) * c
где x' — исходный вектор,
x — масштабированный.
Вектор m — усредненное значение совокупности входных данных.
с — масштабный коэффициент.
Масштабирование необходимо, чтобы привести данные в допустимый диапазон. Если этого не сделать, то возможно несколько проблем:
1) нейроны входного слоя или окажутся в постоянном насыщении (|m| велик, дисперсия входных данных мала) или будут все время заторможены (| m | мал, дисперсия мала);
2) весовые коэффициенты примут очень большие или очень малые значения при обучении (в зависимости от дисперсии), и, как следствие, растянется процесс обучения и снизится точность.
Билет 2, вопрос 1 «Какие вы знаете разновидности математической логики?»
В математической логике существуют следующие разделы:
1. Общая логика, которая включает классическую логику первого порядка, логики высших порядков (логику второго порядка), комбинаторную логику, λ-исчисление, временную логику, модальную логику, многозначные логики, нечёткую логику, логику в информатике;
2. Теория моделей - раздел математической логики, который занимается изучением связи между формальными языками и их интерпретациями, или моделями.
3. Теория вычислимости - это раздел, возникший в результате изучения понятий вычислимости и невычислимости.
4. Теория множеств - раздел математики, в котором изучаются общие свойства множеств - совокупностей элементов произвольной природы, обладающих каким-либо общим свойством, которая принесла новое понимание природы бесконечности.
5. Теория доказательств - это раздел математической логики, представляющий доказательства в виде формальных математических объектов, осуществляя их анализ с помощью математических методов. Доказательства обычно представляются в виде индуктивно определённых структур данных, таких как списки и деревья, созданных в соответствии с аксиомами и правилами вывода формальных систем.
6. Конструктивная математика - абстрактная наука о конструктивных процессах, человеческой способности осуществлять их, и об их результатах - конструктивных объектах.
7. Алгебраическая логика (включает вопросы изучения булевых алгебр, алгебр Гейтинга, квантовых логик, цилиндрических и полиадических алгебр, алгебр Поста) - раздел математической логики, в котором изучаются логические операции над высказываниями.
8. Нестандартные модели (анализ) - альтернативный подход к обоснованию математического анализа, в котором бесконечно малые — не переменные величины, а особый вид чисел.