Если вы не уверены в том, что алгоритмы типа PESQ могут достаточно точно оценить качество речевой связи, попытайтесь оценить эффективность используемого вами инструментария. Если вы приобретаете программу, оценивающую значения MOS, обязательно попросите показать вам для сравнения результаты, полученные с помощью этой программы, и оценки MOS, выставленные реальными людьми (при использовании тех же самых шаблонов). Чем ближе MOS-оценки, полученные «ручным» и автоматизированным способами, тем точнее алгоритм.
«Тестируя алгоритм PESQ, мы постоянно сравнивали полученные с его помощью результаты с оценками экспертов», — рассказывает Майк Хол-лиер, директор по технологиям компании Psytechnics, которая принимала непосредственное участие в разработке PESQ. Этот алгоритм был предложен МСЭ-Т совместно компаниями Psytechnics, Opticom и SwissQual. Специалисты указанной международной организации сравнивали результаты измерения качества передачи речевой информации, полученные по алгоритму PESQ, с экспертными оценками, предоставленными компаниями AT&T и ВТ. Корреляция между двумя группами оценок, по словам Холлиера, составила 0,95 — очень хороший результат. И в декабре 2003 г. МСЭ-Т одобрил алгоритм PESQ в качестве стандарта. PESQ, который рассматривают в качестве преемника PSQM, более точно измеряет качество телефонной связи через IP-сети.
Вместе с тем недостатком PESQ и других новых алгоритмов является то, что они основываются на сравнении аудиопотоков на входе и выходе системы. Это так называемый мониторинг методом «активного тестирования». Но такой мониторинг, помимо того, что неизбежно добавляет трафик в сети, вызывает и ряд специфических проблем по организации тестирования. В частности, не всегда представляется возможность разместить измерительное оборудование на обоих концах канала связи. Предположим, вызов в вашу IP-сеть поступает из ТфОП, и вы не в состоянии проверить качество шлюза ТфОП, который может генерировать эхо и вызывать дополнительную задержку при перекодировании речевых сигналов.
Таким образом, алгоритмы «активного тестирования» позволяют эффективно проверить качество связи внутри вашей сети, но мониторинг любых вызовов, заканчивающихся вне ее, оказывается невозможным. Для решения этой проблемы была разработана спецификация Р.563, которая определяет алгоритм «пассивного мониторинга». Такой алгоритм тестирования не предполагает введение в сеть дополнительного трафика, и реализующее его программное обеспечение анализирует непосредственно передаваемые речевые потоки. При этом программа генерирует рейтинги MOS аналогично тому, как это делает группа экспертов.
Этот метод отличается от многих других тем, что для сравнения в нем не используются никакие специальные речевые шаблоны. Рейтинг качества, полученный с помощью Р.563, может быть с легкостью верифицирован группой экспертов, работающих параллельно. Корреляция между рейтингами Р.563 и рейтингами, выставляемыми реальными пользователями, обычно варьируется от 0,85 до 0,9. Конечно, алгоритм Р.563 не так точен, как PESQ, но при этом он достаточно эффективен.
ДРУГИЕ АЛГОРИТМЫОЦЕНКИ КАЧЕСТВА
Компания Psytechnics предложила еще один алгоритм оценки качества — Psyvoip. Он менее точен, чем Р.563, зато способен анализировать речевой поток в реальном времени в течение всего сеанса связи. Это очень интересный вариант, особенно учитывая то, что для анализа только одного звонка по методике MOS требуется достаточно большая процессорная мощность. Алгоритм Psyvoip для оценки качества связи использует статистические данные протокола RTP (Real Time Protocol). Он также обнаруживает проблемные IP-адреса, чтобы потом с помощью более сложных алгоритмов, типа PESQ, проводить дополнительное исследование.
Еще один способ анализа качества речевой связи основан на модели E-model (стандарт G.107), изначально разработанной с целью облегчить планирование инсталляций VoIP-систем. Компания Qovia и ряд других разработчиков усовершенствовали этот алгоритм и адаптировали его для пассивного мониторинга. По точности оценки этот метод уступает Р.563, зато его реализации не так дороги. Системы, основанные на E-model, целесообразно использовать для локализации проблем и последующего их исследования с помощью более дорогих и ресурсоемких алгоритмов.
Глоссарий
Active monitoring — метод оценки качества речевой связи, предполагающий посылку по сети специального контрольного речевого шаблона с последующим сравнением его на входе и на выходе системы и оценкой степени воздействия сети на этот шаблон. Иногда, этот метод называют мониторингом с вмешательством в работу сети (intrusive monitoring).
E-Model (МСЭ-Т G.107) — алгоритм, первоначально предназначавшийся для использования при планировке сети, был доработан некоторыми компаниями с целью применения в качестве недорогого инструментария пассивного мониторинга. Оценивает качество речевой связи с помощью R-фактора (по шкале от 0 до 100).
MOS (Mean Opinion Score) — алгоритм, закрепленный в спецификации МСЭ-Т Р.800, предполагает систематическую экспертную оценку качества голосовой связи группой пользователей по пятибалльной шкале. Оценки 4,0 и выше рассматриваются как соответствующие качеству связи в ТфОП.
PAMS (Perceptual Analysis Measurement System) — нестандар-тизованный алгоритм оценки качества голосовой связи, разработанный компанией British Telecom в 1998 г. Учитывает флуктуации задержек в cети VoIP.
Passive monitoring — предполагает контроль качества речевой связи путем прослушивания разговора на линии и последующей оценки качества сигнала без сравнения с каким-либо контрольным шаблоном.
PESQ (Perceptive Evaluation of Speech Quality) — алгоритм оценки качества речевой связи, закрепленный МСЭ-Т в спецификации Р.862. Считается самым современным и эффективным алгоритмом оценки качества голосовой связи в сетях VoIP. Использует активные способы тестирования.
Р.563 — спецификация МСЭ-Т, утвержденная в мае 2004 г. Определяет алгоритм пассивного мониторинга для оценки качества речевой связи путем прослушивания «живых» сеансов связи.
PSQM (Perceptual Speech Quality Measure) — алгоритм МСЭ-Т Р.861.
Используется для тестирования кодеков. Неприменим для тестирования VoIP-систем, поскольку не учитывает возникающие задержки при передаче голоса и их флуктуации.
PSQM+ — улучшенная версия алгоритма PSQM, разработанная компанией Qpticom специально для оценки систем VoIP. Пока не стандартизована.
RTCP (Real Time Control Protocol) — протокол, предполагающий, в частности, посылку сообщений со статистикой о качестве связи от одной конечной точки VoIP до другой. Не все производители реализовали его в своих оконечных устройствах.
RTCP-XR (RFC3611) — улучшенная версия протокола RTCP, предполагает обмен дополнительной информацией о качестве связи — например, о резком увеличении числа потерянных пакетов. Этот протокол является опциональным, и его поддерживают не все производители.
RTP (Real Time Protocol) — протокол передачи аудиофайлов по сетям передачи данных, обычно по протоколу UDP.
Так какой же алгоритм является оптимальным для большинства компаний? Первое место несомненно за PESQ, самым предпочтительным алгоритмом активного мониторинга. Вслед за ним идет Р.563, единственный стандартизованный алгоритм пассивного мониторинга. Некоторые компании считают, что в ряде случаев могут быть достаточно эффективны недорогие расширения технологии G.107. Убедитесь, что вы хорошо понимаете ограничения, присущие каждому из предлагаемых вам алгоритмов. Кроме того, еще до покупки тщательно изучите данные о корреляции результатов автоматизированных и «ручных» тестов.