Вектор (12) в теории ДМЦ занимает особое место из-за наличия многих приложений и называется вектором предельных или финальных вероятностей (иногда - стационарным вектором). Финальные вероятности определяют с помощью векторно-матричного уравнения
(13)
которое в развернутом виде будет выглядеть так:
(13а)
К уравнениям (8.13а) можно дополнительно добавить условие нормировки:
(14)
Тогда любое из уравнений в (8.14) можно исключить.
Так же, как и в случае поглощения ДМЦ многие характеристики эргодических цепей определяются с помощью фундаментальной матрицы, которая в этом случае будет иметь вид:
(15)
Для эргодических цепей характеристикой, имеющей важное практическое значение, является продолжительность времени, за которое процесс из состояния 
впервые попадает в 
, так называемое время первого достижения. Матрица средних времен достижения определяется по формуле:
(16)
Где
- фундаментальная матрица (15);
- диагональная матрица, образованная из фундаментальной заменой всех элементов, кроме диагональных, нулями;
D - диагональная матрица с диагональными элементами, 
;
Е - матрица, все элементы которой равны единице.
Матрица дисперсий времени первого достижения имеет несколько более сложный вид:
(17)
где кроме уже упомянутых обозначений встречается новое - (
, обозначающее диагональную матрицу, полученную из матричного произведения матриц 
.
Управляемые марковские цепи
Стратегия 
называется марковской, если решение 
, принимаемое в каждом конкретном состоянии, зависит только от момента времени n, но не зависит от предшествующих состояний.
Оптимальной будет такая стратегия, которая максимизирует полный ожидаемый доход для всех i и n. В теории УМЦ разработаны два метода определения оптимальных стратегий: рекуррентный и итерационный.
Первый, рекуррентный, метод применяется чаще всего при сравнительно небольшом числе шагов n. Его идея основана на применении принципа Беллмана и заключается в последовательной оптимизации дохода на каждом шаге с использованием рекуррентного уравнения следующего вида:
(19)
Где
- полный ожидаемый доход;
шагов, если система находится в состоянии i;
- непосредственно ожидаемый доход, т.е. доход на одном шаге, если процесс начался с i-го состояния;
- величина полного ожидаемого дохода за n прошедших шагов, если процесс начинался с j-го состояния (i¹j).
Таким образом, данный метод, по существу, аналогичен методу динамического программирования, отличием является лишь то, что на каждом шаге учитывается вероятность попадания системы в то или иное состояние. Поэтому этот метод называют стохастическим динамическим программированием.
Конкретное применение метода будет рассмотрено далее на примере.
Второй - итерационный метод оптимизации применяется при неограниченном числе этапов (шагов) процесса. Этот метод использует свойство эргодичности марковской цепи и заключается в последовательном уточнении решения путем повторных расчетов (итераций). При этих уточнениях находят решение, обеспечивающее в среднем минимум дохода при большом числе шагов. Оно уже не будет зависеть от того, на каком шаге производится оценка оптимальной стратегии, то есть является справедливым для всего процесса, независимо от номера шага. Важным достоинством метода является, кроме того, и то, что он дает возможность определить момент прекращения дальнейших уточнений.
Главное отличие итерационного метода от рассмотренного ранее, рекуррентного, заключается в том, что в данном случае используется матрица предельных (финальных) вероятностей, где вследствие свойства эргодичности переходные вероятности постоянны на всех шагах процесса. Поскольку матрица доходов состоит также из постоянных, не зависимых от n величин, то можно предположить, что с ростом n общая величина доходов будет возрастать линейно.
Представим графически линейную зависимость суммарного дохода от числа шагов 
(рис. 11).
Для наглядности график (см. рис. 11) изображен для УМЦ с двумя состояниями 
и 
. На графике прямая 
показывает зависимость суммарного дохода, если система “стартовала” из состояния 
. Соответственно, прямая 
изображает ту же зависимость для состояния . Обе прямые могут быть описаны линейными уравнениями 
:
(20)
Где
g - угловой коэффициент прямой 
;
- доход в i-том состоянии в конце процесса.
Легко заметить, что при таком представлении зависимости 
величина непосредственно ожидаемого дохода q (см. формулу (19)) заменяется g. Отличие здесь лишь в том, что g является величиной постоянной для всего процесса, в то время как q меняется на каждом шаге. Величина 
показывает, на сколько в среднем отличается доход, когда процесс заканчивается в том или ином состоянии. В теории марковских цепей называют весом, так как разница 
при двух состояниях показывает средний выигрыш от того, в каком состоянии мы находимся в конце процесса (независимо от выбранной стратегии).
Рис. 11. Зависимость суммарного дохода от числа шагов
Таким образом, подводя итоги общих рассуждений, можно сказать, что свойство эргодичности позволяет нам считать справедливым приближенное равенство:
(21)
На этом предположении и основан итерационный метод. Суть его сводится к тому, что при разных стратегиях путем последовательных приближений определяются значения сумм
(22)
Таким образом, если ранее (при рекуррентном методе) искалась стратегия, обеспечивающая на каждом шаге максимум суммы непосредственно ожидаемого дохода и дохода на предшествующих шагах, то здесь находится стратегия, обеспечивающая максимум средней прибыли и относительного веса сразу для всего процесса. При этом производятся последовательные расчеты - итерации, на каждом этапе которых уточняются значения угловых коэффициентов и весов, обеспечивающие максимум доходов.