(2-й курс, 3-й поток, 5-й и 6-й семестры, 2011-12 уч.год, лектор Ульянов В.В.)
ТЕОРИЯ ВЕРОЯТНОСТЕЙ. Конечные вероятностные пространства. Классическая вероятность, случай равновероятных элементарных исходов. Задача о разделе ставки. Примеры устойчивости частот. Аксиоматика А.Н.Колмогорова. Вероятностное пространство, сигма-алгебра событий, вероятность. Примеры вероятностных пространств. Свойства вероятности: вероятность пустого множества равна нулю, конечная аддитивность, теорема сложения, счетная полуаддитивность, монотонность, непрерывность по монотонным последовательностям, конечная аддитивность + непрерывность по неубывающим или по невозрастающим последовательностям влекут счетную аддитивность. Урновые схемы. Выборка с возвращением. Биномиальное распределение. Выборка без возвращения. Гипергеометрическое распределение. Условная вероятность. Попарная независимость и независимость в совокупности для множества событий. Пример Бернштейна. Формула полной вероятности. Формула Байеса. Дискретные случайные величины. Индикатор события. Распределение дискретной случайной величины. Схема Бернулли. Математическое ожидание для дискретных случайных величин. Его свойства. Математическое ожидание функции от случайной величины. Пример случайной величины, не имеющей математического ожидания. Моменты и центральные моменты k-го порядка. Дисперсия, ее свойства. Математическое ожидание и дисперсия для биномиального распределения. Среднеквадратическое отклонение. Независимость в совокупности и попарная независимость дискретных случайных величин. Теорема о независимости двух функций от непересекающихся совокупностей независимых случайных величин. Мультипликативность математического ожидания. Ковариация, коэффициент корреляции, его свойства. Неравенства Маркова и Чебышева. Правило трех сигм. Теорема Чебышева (ЗБЧ). Теорема Бернулли. Пуассоновское распределение. Теорема Пуассона. Оценка близости биномиальных вероятностей к пуассоновским (без доказательства). Задача о конкуренции. Локальная предельная теорема Муавра-Лапласа (без доказательства). Интегральная предельная теорема Муавра-Лапласа. Задача о различении двух гипотез о доле шаров в урне. Ошибки первого и второго рода. Оценка снизу для числа наблюдений, необходимых для различения гипотез с заданной точностью. Общее определение вероятностного пространства. Сигма-алгебра, порожденная классом множеств. Борелевская сигма-алгебра. Теорема о единственности продолжения вероятности с алгебры на порожденную ею сигма-алгебру (без доказательства). Случайные величины как измеримые отображения. Функция распределения случайной величины. Ее свойства. Распределение случайной величины.
Теорема о взаимнооднозначном соответствии между функциями распределения и вероятностными распределениями. Абсолютно непрерывные случайные величины. Плотности распределений вероятностей, их свойства, включая многомерный случай. Нормальное и стандартное нормальное распределения. Случайный вектор, его распределение и функция распределения. Плотность случайного вектора и его компонент. Нахождение маргинальных распределений по совместному распределению. Геометрические вероятности. Многомерное равномерное распределение. Сигма-алгебра, порожденная случайной величиной. Независимость случайных величин в терминах функции распределения и в терминах совместной плотности в случае ее существования. Формула свертки. Лемма Бореля-Кантелли. Операции над случайными величинами, не выводящие из класса случайных величин. Виды сходимости последовательностей случайных величин: сходимость по вероятности, сходимость почти всюду, сходимость в среднем. Связь между ними. Характеризационное свойство сходимости почти всюду. Определение математического ожидания в общем случае. Свойства математических ожиданий. Теорема о предельном переходе под знаком математического ожидания (без доказательства). Неравенство Колмогорова. Усиленный закон больших чисел Колмогорова. Метод Монте-Карло. Производящие функции. Восстановление распределения по производящей функции. Производящая функция суммы случайного числа случайных величин. Задаче о числе животных. Задача о вырождении фамилий. Теорема о вероятности вырождения. Характеристические функции. Их свойства: равномерная непрерывность, мультипликативность для сумм независимых случайных величин, k-кратная дифференцируемость при существовании момента порядка k. Формула обращения. Теорема о взаимнооднозначном соответствии между функциями распределения и характеристическими функциями. Слабая сходимость последовательности случайных величин. Прямая и обратная теоремы о непрерывном соответствии между характеристическими функциями и соответствующими вероятностными распределениями. Первая и вторая теоремы Хелли. Закон больших чисел в форме Хинчина. Центральная предельная теорема для независимых одинаково распределенных случайных величин. ЦПТ для разнораспределенных случайных величин (без доказательства). Условные математические ожидания, условные распределения в случае дискретных и абсолютно непрерывных случайных величин. Свойства условных математических ожиданий.
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА. Статистическая структура. Параметрические семейства, примеры. Выборка. Статистика. Эмпирическая функция распределения. Теорема Гливенко (без доказательства). Выборочные моменты, их асимптотическая нормальность. Вариационный ряд. Порядковые статистики и их распределения. Точечные оценки. Несмещенные оценки, их свойства, примеры. Состоятельные оценки, их свойства, примеры. Оптимальные оценки. Теорема о единственности оптимальной оценки. Функции правдоподобия для дискретного и абсолютно непрерывного случаев. Информация Фишера. Неравенство Рао-Крамера. Относительная частота события как оптимальная оценка неизвестной вероятности. Эффективность точечных оценок. Эффективные оценки. Метод моментов. Теорема о сходимости по вероятности для непрерывных функций от случайных величин, сходящихся по вероятности. Достаточные статистики. Критерий факторизации. Теорема Рао-Блекуэлла-Колмогорова. Полные статистики. Оптимальность оценок, являющихся функцией полной достаточной статистики. Оценки максимального правдоподобия. Уравнения правдоподобия. Утверждения об эффективных оценках, достаточных статистиках и оценках максимального правдоподобия. Принцип инвариантности для оценок максимального правдоподобия. Доверительные интервалы. Трактовка коэффициента доверия. Методы построения интервальных оценок: использование точечных оценок, метод центральной статистики, использование центральной предельной теоремы. Проверка гипотез. Примеры гипотез: о виде распределений, об однородности выборок, о независимости. Простые и сложные гипотезы. Нерандомизированные S-критерии. Ошибки первого и второго рода. Уровень значимости, мощность критерия. Рандомизированные критерии. Функция мощности. Оптимальные критерии. Лемма Неймана-Пирсона. Равномерно наиболее мощные критерии. Состоятельные и несмещенные критерии. Критерии согласия Пирсона хи-квадрат для дискретных и абсолютно непрерывных распределений. Асимптотика для критерия Пирсона, с доказательством для k=2 и без доказательства при k>2. Состоятельность критерия Пирсона. Критерий однородности хи-квадрат. Критерий независимости хи-квадрат. Связь между задачами проверки гипотез и доверительным оцениванием.