При решении многих задач физики, экономики, медицины, инженерии приходится экспериментально изучать зависимость наблюдаемой случайной величины У от одной или нескольких других случайных величин Х1, Х2,…,Хк.
Неконтролируемые случайные факторы
↓↓↓↓
Контролируемые
факторы →
Х1
. Физическая
. → система → Отклик У
.
Хк →
Пример: Некоторая фирма занимается поставками различных грузов на короткие расстояния внутри города. Оценить стоимость таких услуг, зависящую от затрачиваемого на поставку времени. В качестве наиболее важного фактора, влияющего на время поставки, выбрано пройденное расстояние. Были собраны исходные данные о десяти поставках (табл. 1)
Таблица 1
| Расстояние, миль | 3,5 | 2,4 | 4,9 | 4,2 | 3,0 | 1,3 | 1,0 | 3,0 | 1,5 | 4,1 |
| Время, мин |
Помимо расстояния на время поставки влияют пробки на дорогах, время суток, дорожные работы, погода, квалификация водителя, вид транспорта
Определение: Регрессивный анализ - статистический метод исследования зависимости между зависимой переменной Y и одной или несколькими независимымипеременными X 1, X 2,..., Xn. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными.
Определение: Регрессия в теории вероятностей и математической статистике - это зависимость среднего значения какой-либо величины от некоторой другой величины или от нескольких величин.
У=f(x1,x2,…xn).
Определение: Корреляция (корреляционная зависимость) — статистическая взаимосвязь двух или нескольких случайных величин. Математической мерой корреляции двух случайных величин служит корреляционное отношение, либо коэффициент корреляции 
(или 
).
В случае, если изменение одной случайной величины не ведёт к закономерному изменению другой случайной величины, но приводит к изменению другой статистической характеристики данной случайной величины, то подобная связь не считается корреляционной, хотя и является статистической.
Впервые в научный оборот термин «корреляция» ввёл французский палеонтолог Жорж Кювье в XVIII веке. Он разработал «закон корреляции» частей и органов живых существ, с помощью которого можно восстановить облик ископаемого животного, имея в распоряжении лишь часть его останков. В статистике слово «корреляция» первым стал использовать английский биолог и статистик Фрэнсис Гальтон в конце XIX века.
Данный метод обработки статистических данных весьма популярен в экономике и социальных науках (в частности в психологии и социологии), хотя сфера применения коэффициентов корреляции обширна: контроль качества промышленной продукции, металловедение, агрохимия, гидробиология, биометрия и прочие. В различных прикладных отраслях приняты разные границы интервалов для оценки тесноты и значимости связи.
Популярность метода обусловлена двумя моментами: коэффициенты корреляции относительно просты в подсчете, их применение не требует специальной математической подготовки. В сочетании с простотой интерпретации, простота применения коэффициента привела к его широкому распространению в сфере анализа статистических данных.
Кореляционно-регессивный анализ включает три этапа:
1) Построение моделей, т.е. представление моделей в математической форме, удобной для проведения эмпирического анализа. Данную проблему принято называть проблемой спецификации.
2) Оценка параметров построенной модели, делающих выбранную модель наиболее адекватной реальным данным. Это так называемый этап параметризации.
3) Проверка качества найденных параметров модели и самой модели в целом. Иногда этот этап анализа называют этапом верификации.
Рассмотрим пример построения простой линейной регрессии, т.е. зависимость вида у = ах+в