План лекций
Тема 1. Методы описательной статистики. Проверка гипотез. Исследование связи количественных признаков. Корреляционный анализ и регрессионный анализ. Статистическое программное обеспечение. Язык и среда статистического программирования R.
Тема 2. Программы на языке R. Создание на языке R скрипта для статистического описания набора одномерных выборок. Реализация на языке R проверки статистических гипотез.
Мастицкий, глава 4 (97), 5 (128), 6 (167).
4. ОПИСАТЕЛЬНАЯ СТАТИСТИКА И ПОДГОНКА РАСПРЕДЕЛЕНИЙ
4.1. Оценка выборочных параметров с использованием специальных функций
4.2. Использование функций summary() и дополнительных пакетов
4.3. Анализ выбросов
4.4. Заполнение пропущенных значений в таблицах данных
4.5. Воспроизводимость результатов при использовании генератора случайных чисел
4.6. Законы распределения вероятностей, реализованные в R
4.7. Подбор закона и параметров распределения в R
4.8. Проверка на нормальность распределения
5. КЛАССИЧЕСКИЕ МЕТОДЫИ КРИТЕРИИ СТАТИСТИКИ
5.1. Гипотеза о равенстве средних двух генеральных совокупностей
5.2. Использование ранговых критериев Уилкоксона-Манна-Уитни
5.3. Рандомизация, бутстреп и оценка статистической мощности (на примере двухвыборочного t-критерия)
5.4. Гипотеза об однородности дисперсий
5.5. Введение в дисперсионный анализ
5.6. Оценка корреляции двух случайных величин
5.7. Критерий хи-квадрат
5.8. Точный тест Фишера; критерии Мак-Немара и Кохрана-Мантеля-Хензеля
5.9. Оценка статистической мощности при сравнении долей
6. ЛИНЕЙНЫЕ МОДЕЛИ В ДИСПЕРСИОННОМ АНАЛИЗЕ
6.1. Протокол разведочного анализа данных
6.2. Линейные модели дисперсионного анализа
6.3. Структура модельных объектов дисперсионного анализа
6.4. Оценка адекватности модели дисперсионного анализа
6.5. Дисперсионный анализ по Краскелу-Уоллису
6.6. Модели двух- и многофакторного дисперсионного анализа
6.7. Контрасты в линейных моделях, содержащих категориальные предикторы
6.8. Проблема множественных проверок статистических гипотез
6.9. Методы сравнения групповых средних в дисперсионном анализе
Тема 3. Реализация на языке R исследования связи количественных признаков. Построение линейной регрессии. Реализация на языке R обобщенной линейной модели.
Мастицкий, глава 7 (235).
7. РЕГРЕССИОННЫЕ МОДЕЛИ ЗАВИСИМОСТЕЙ МЕЖДУ КОЛИЧЕСТВЕННЫМИ ПЕРЕМЕННЫМИ
7.1. О понятии "статистическая модель"
7.2. Простая линейная регрессия: каков возраст Вселенной?
7.3. Модели регрессии при различных видах функции потерь
7.4. Критерии выбора моделей оптимальной сложности
7.5. Полиномиальные и нелинейные модели регрессии
7.6. Модель множественной регрессии и выбор ее спецификации
7.7. Процедуры диагностики моделей множественной регрессии
7.8. Гребневая и лассо-регрессия; использование главных компонент
7.9. Сравнение эффективности различных моделей при прогнозировании
Тема 4. Реализация на языке R моделирования нелинейных зависимостей. Сравнение моделей.
Мастицкий, глава 8 (303).
8. ОБОБЩЕННЫЕ, СТРУКТУРНЫЕ И ИНЫЕ МОДЕЛИ РЕГРЕССИИ
8.1. Модели сглаживания
8.2. Обобщенные модели регрессии
8.3. Модели пробит- и логит-регрессии
8.4. Обобщенные модели для оценки показателей экологической толерантности
8.5. Ковариационный анализ
8.6. Модели со смешанными эффектами для иерархически организованных данных
8.7. Индуктивные модели (метод группового учета аргументов)
8.8. Моделирование структурными уравнениями
4. ОПИСАТЕЛЬНАЯ СТАТИСТИКА И ПОДГОНКА РАСПРЕДЕЛЕНИЙ
4.1. Оценка выборочных параметров с использованием специальных функций
При наличии отсуствующих данных нужно указать, что с ними делать, обычно na.rm=TRUE
4.2. Использование функций summary() и дополнительных пакетов
4.3. Анализ выбросов
«Ящик с усами» - boxplot(Z~fA)
Не нужно путать то, что является выбросом в однородной статистической популяции, и то, что обусловлено, например, факторами среды или антропогенным воздействием (например, аномальные значения загрязнения, которые нам только и нужны). Для работы с такими величинами нужны специальные методы, например преобразование Бокса-Кокса или переход к порогам.
4.4. Заполнение пропущенных значений в таблицах данных
· Простейшие методы – использование среднего, и его недостатки.
· Использование регрессии на остальные переменные, недостатки
· Использование рандомизации – построение регрессии, оценка распределения и использование выборки. Нужны специальные методы для оценки результатов (например, параметров регрессии)
- Использование Байесовских методов (МСМС) – пакет mice
4.5. Воспроизводимость результатов при использовании генератора случайных чисел
example = data.frame(
Factor = rep(c("A", "B", "C"), each = 300),
Variable = c(rnorm(300, 5, 2),
rnorm(300, 4, 3),
rnorm(300, 2, 1)))
library(ggplot2)
p <- ggplot(example, aes(x = Variable)) (p <- p + geom_density(aes(fill = Factor), alpha = 1/2))
set.seed(123)
| 
|
| 
|
4.6. Законы распределения вероятностей, реализованные в R
Стандартные распределения, имеющиеся в R
Бета dbeta(x, shape1, shape2, ncp = 0, log = FALSE). Задает перераспределение «массы» на интервале [0, 1].
|
| Mean | 
|
| Variance | 
|
Нормальное dnorm(x, mean = 0, sd = 1, log = FALSE)
|
| Mean | μ |
| Variance | 
|
Лог-нормальное dlnorm(x, meanlog = 0, sdlog = 1, log = FALSE)
Аналогично нормальному (вычисляется среднее и дисперсия логарифма). Область определения – положительные числа.
|
Хи-квадрат dchisq(x, df, log = FALSE)
|
Статистика 
| Mean | k |
| Variance | 2 k |
Экспоненциальное dexp(x, rate = 1, log = FALSE)
|
| Mean | λ−1 (=β) |
| Variance | λ−2 (=β2) |
Фишера df(x, df1, df2, log = FALSE)
|
Статистика 
| Mean |  for d 2 > 2
|
| Variance |  for d 2 > 4
|
Гамма dgamma(x, shape, rate = 1, scale = 1/rate, log = FALSE)
| ||
| Parameters |
|
|
| Mean | 
| 
|
| Variance | 
| 
|
Стьюдента dt(x, df, log = FALSE)
|
Статистика 
t=(x-E[x])/Sx
| Mean | 0 for  , otherwise undefined
|
| Variance |  for  , ∞ for  , otherwise undefined
|
4.7. Подбор закона и параметров распределения в R
