Тема 5. Практика изучения случайных явлений показывает, что хотя результаты отдельных наблюдений, даже проведенных в одинаковых условиях, могут сильно отличаться, в то же время средние результаты для достаточно большого числа наблюдений устойчивы и слабо зависят от результатов отдельных наблюдений. Теоретическим обоснованием этого замечательного свойства случайных явлений является закон больших чисел. Этим названием объединена группа теорем, устанавливающих устойчивость средних результатов большого количества случайных явлений и объясняющих причину этой устойчивости. Неравенство Чебышева и его следствия. Закон больших чисел в форме Бернулли. Закон больших чисел в форме Чебышева. Центральная предельная теорема объясняет широкое распространение нормального закона распределения. Теорема утверждает, что всегда, когда случайная величина образуется в результате сложения большого числа независимых случайных величин с конечными дисперсиями, закон распределения этой случайной величины оказывается практически нормальнымзаконом.
Тема 6. Информация и энтропия являются универсальными естественно научными понятиями. Энтропия используется как мера неопределенности. Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв встречаются очень редко, то неопределённость ещё более уменьшается. Впервые понятия энтропия и информация связал К.Шеннон. В теории вероятностей информация и энтропия точно определяются. В дискретном случае определения формулируются достаточно просто. В математической лингвистике широко используются информационные модели текстов. Предсказание и энтропия английского текста. Комбинаторика лингвистических единиц. Вероятность и информация лингвистических событий
Тема 7. Коэффицие́нт корреля́ции или парный коэффицие́нт корреля́ции в теории вероятностей и статистике — это показатель характера взаимного стохастического влияния изменения двух случайных величин. Случайные величины могут быть связаны даже функциональной зависимостью (каждому значению одной случайной величины соответствует единственное значение другой случайной величины), но коэффициент их корреляции будет равен нулю. Для метрических величин применяется коэффициент корреляции Пирсона, точная формула которого была введена Фрэнсисом Гальтоном: Коэффициенты ранговой корреляции Кенделла и Спирмена применяются для выявления взаимосвязи между количественными или качественными показателями, если их можно ранжировать. В коэффициенте корреляции знаков Фехнера подсчитывается количество совпадений и несовпадений знаков отклонений значений показателей от их среднего значения. Используя индикаторы можно коэффициенты корреляции и регрессии для случайных величин использовать для измерения зависимости между случайными событиями.
Коэффициент информации и его свойства. Для измерения зависимости между случайными переменными кроме коэффициента корреляции, оценивающего только линейную зависимость, применяется коэффициент информации, оценивающий и нелинейную стохастическую зависимость.
Тема 8. В простейшем случае условное распределение последующего состояния цепи Маркова первого порядка зависит только от текущего состояния и не зависит от всех предыдущих состояний (в отличие от сложных цепей Маркова высших порядков). Рассматриваются простые однородные марковские цепи с конечным множеством состояний. Свойства матриц переходных вероятностей. Классификация состояний. Предельные вероятности. Распределения и характеристики различных типов серий в марковских последовательностях. Марковские модели прогноза. Примеры применения в фундаментальной и прикладной лингвистике.
Тема 9. Пример Маркова с текстом из «Евгения Онегина». Марковское модели текстов Шеннона. Проблема моделирования словообразования. Словообразовательные гнезда и цепи. Распределения длин слов и предложений в различных языках.
Тема 10. Общее описание случайного процесса. Реализации случайного процесса. Конечномерные распределения случайного процесса. Гауссовские и пуассоновские случайные процессы, примеры их использования.