Классическим методом решения систем линейных алгебраических уравнений является метод последовательного исключения неизвестных – метод Гаусса (его еще называют методом гауссовых исключений). Это метод последовательного исключения переменных, когда с помощью элементарных преобразований система уравнений приводится к равносильной системе ступенчатого (или треугольного) вида, из которого последовательно, начиная с последних (по номеру) переменных, находятся все остальные переменные.
Процесс решения по методу Гаусса состоит из двух этапов: прямой и обратный ходы.
1. Прямой ход.
На первом этапе осуществляется так называемый прямой ход, когда путём элементарных преобразований над строками систему приводят к ступенчатой или треугольной форме, либо устанавливают, что система несовместна. А именно, среди элементов первого столбца матрицы выбирают ненулевой, перемещают его на крайнее верхнее положение перестановкой строк и вычитают получившуюся после перестановки первую строку из остальных строк, домножив её на величину, равную отношению первого элемента каждой из этих строк к первому элементу первой строки, обнуляя тем самым столбец под ним.
После того, как указанные преобразования были совершены, первую строку и первый столбец мысленно вычёркивают и продолжают пока не останется матрица нулевого размера. Если на какой-то из итераций среди элементов первого столбца не нашёлся ненулевой, то переходят к следующему столбцу и проделывают аналогичную операцию.
На первом этапе (прямой ход) система приводится к ступенчатому (в частности, треугольному) виду.
Приведенная ниже система имеет ступенчатый вид:
,
где 
Коэффициенты aii называются главными (ведущими) элементами системы.
1-й шаг.
Будем считать, что элемент 
(если a11=0, переставим строки матрицы так, чтобы a 11 не был равен 0. Это всегда возможно, т. к. в противном случае матрица содержит нулевой столбец, ее определитель равен нулю и система несовместна).
Преобразуем систему, исключив неизвестное х1 во всех уравнениях, кроме первого (используя элементарные преобразования системы). Для этого умножим обе части первого уравнения на 
и сложим почленно со вторым уравнением системы (или из второго уравнения почленно вычтем первое, умноженное на 
). Затем умножим обе части первого уравнения на 
и сложим с третьим уравнением системы (или из третьего почленно вычтем первое, помноженное на 
). Таким образом, последовательно умножаем первую строку на число 
и прибавляем к i -й строке, для i= 2, 3, …, n.
Продолжая этот процесс, получим эквивалентную систему:
Здесь 
– новые значения коэффициентов при неизвестных и свободные члены в последних m-1 уравнениях системы, которые определяются формулами:
Таким образом, на первом шаге уничтожаются все коэффициенты, лежащие под первым ведущим элементом a11 
0, на втором шаге уничтожаются элементы, лежащие под вторым ведущим элементом а22(1) (если a22(1) 0) и т.д. Продолжая этот процесс и дальше, мы, наконец, на (m-1) шаге приведем исходную систему к треугольной системе.
Если в процессе приведения системы к ступенчатому виду появятся нулевые уравнения, т.е. равенства вида 0=0, их отбрасывают. Если же появится уравнение вида 
то это свидетельствует о несовместности системы.
На этом прямой ход метода Гаусса заканчивается.
2. Обратный ход.
На втором этапе осуществляется так называемый обратный ход, суть которого заключается в том, чтобы выразить все получившиеся базисные переменные через небазисные и построить фундаментальную систему решений, либо, если все переменные являются базисными, то выразить в численном виде единственное решение системы линейных уравнений.
Эта процедура начинается с последнего уравнения, из которого выражают соответствующую базисную переменную (она в нем всего одна) и подставляют в предыдущие уравнения, и так далее, поднимаясь по «ступенькам» наверх.
Каждой строчке соответствует ровно одна базисная переменная, поэтому на каждом шаге, кроме последнего (самого верхнего), ситуация в точности повторяет случай последней строки.
Примечание: на практике удобнее работать не с системой, а с расширенной ее матрицей, выполняя все элементарные преобразования над ее строками. Удобно, чтобы коэффициент a11 был равен 1 (уравнения переставить местами, либо разделить обе части уравнения на a11).