Очень многие случайные величины, встречающиеся в природе, имеют функцию распределения, называемую нормальной (иначе её называют функцией Гаусса). Эта функция имеет вид симметричного колокола с максимумом, совпадающим с истинным значением величины. Математически она выражается как: 
. Построив соответствующий график, можно убедиться, что эта функция имеен максимум при х =Х, а ширина колокола определяется величиной s. Множитель, стоящий перед экспонентой, необходим для нормировки – чтобы вероятность получения какого-либо (любого) значения была равна 1.
Представим себе, что для более точного нахождения истинного значения случайной величины мы провели несколько измерений и получили значения х1,х2,…,хn. Покажем, что наилучшей оценкой истинного значения будет среднее арифметическое измеренных значений. Для этого воспользуемся методом максимального правдоподобия:
Пусть нам нужно найти параметры функции распределения (в данном случае – истинное значение Х) Мы выберем такое значение искомого параметра, при котором вероятность получения измеренного набора значений х1,х2,…,хn максимальна. Если выразить вероятность получения значения х в интервале (х,х+Dх) как произведение функции нормального распределения на ширину интервала, а также учесть, что вероятность получения всей совокупности независимых событий равна произведению вероятностей, то 
. Для нахождения максимума этой вероятности, продифференцируем эту функцию по Х и приравняем производную к нулю. Как и ожидалось, максимум достигается при 
, где n – число измерений. Аналогичным образом, подставив вместо Х среднее арифметическое, дифференцируя функцию вероятности по переменной s и приравнивая производную к нулю, получим, что наилучшая оценка ширины распределения – это 
.
По этой формуле делается оценка величины стандартного отклонения, определяющего разброс измеряемых значений вблизи истинного значения величины. Взяв интеграл от нормальной функции распределения в интервале от Х-s до Х+s, можно определить, что вероятность получения измеренного значения в пределах Х±s равна 0.68. В общем случае, результат исследований следует представлять как оценку истинного значения и доверительный интервал, соответствующий значению вероятности, с которой истинное значение лежит внутри этого интервала.
Как правило, в научных исследованиях вывод о наличии какого-либо эффекта делается в том случае, когда измеренная величина выходит за пределы возможных случайных отклонений более чем на 3s, что соответствует вероятности случайной имитации около 0.3%.
Смысл стандартного отклонения состоит в том, что оно определяет точность определения истинного значения в результате одного измерения (т.е. разброс измеряемых значений). Какую же точность дает оценка истинного значения как среднего арифметического нескольких измеренных величин? Воспользовавшись формулой для вычисления ошибки суммы (используя квадратичное сложение), получаем:
Таким образом, при проведении n измерений точность результата улучшается в 
раз.