НКВД СССР был создан как орган, объединявший в своем составе огромный аппарат принуждения, одним из звеньев которого являлась милиция. Главное управление милиции НКВД СССР сосредоточило в своих руках решение всех оперативных вопросов, причем в таком объеме, что нижестоящие органы без согласования с главком не могли решать ни одного сколько-нибудь значительного вопроса. Такая централизация в построении органов милиции привела к тому, что их работники на местах в значительной мере перестали проявлять инициативу, самостоятельность, ожидали директив от вышестоящих органов. Данное обстоятельство не могло не влиять отрицательно на качественный уровень работы милиции.
Тем не менее, во второй половине 30-х годов было немало и положительных моментов в развитии милиции.
Рост автомобильного транспорта, повышение интенсивности дорожного движения вызвали необходимость принятия более эффективных мер по обеспечению безопасности дорожного движения. В 1935 году в Центральном управлении шоссейных и грунтовых дорог и автомобильного транспорта (Цудотранс) была образована Государственная автомобильная инспекция (ГАИ). 3 июля 1936 года СНК СССР утвердил Положение о Государственной автомобильной инспекции. Этим нормативным актом на ГАИ возлагались обязанности бороться с аварийностью и хищническим использованием автотранспорта, наблюдать за подготовкой и воспитанием шоферских кадров, вести количественный и качественный учет автопарка. На нее возлагался также учет аварий автомобильного транспорта, выявление их причин, привлечение к ответственности водителей машин и других виновных в авариях лиц, контроль за проведением хозяйственными организациями и учреждениями необходимых мероприятий по содержанию автопарка в технически исправном состоянии. Важной функцией ГАИ являлось регулирование уличного движения, надзор за безопасностью движения транспорта и пешеходов в городах и на транспортных магистралях. Работниками Госавтоинспекции предоставлялись все права, установленные для сотрудников милиции.
В эти годы повысилась роль милиции в обеспечении общественного порядка на железнодорожном и водном транспорте. В середине 1937 года вновь создается железнодорожная милиция. В главном управлении милиции НКВД СССР был образован отдел железнодорожной милиции, в ведении которого находились отделы железнодорожной милиции, учрежденные в местах нахождения управлений железных дорог. Тогда же в морских и речных портах и на пристанях также были созданы отделы (отделения) милиции, которые обеспечивали порядок на речных путях и коммуникациях.
16 марта 1937 года в составе Главного управления рабоче-крестьянской милиции НКВД СССР был образован Отдел по борьбе с хищениями социалистической собственности и спекуляцией (ОБХСС). В утвержденном НКВД СССР Положении об отделе указывалось, что он создается для обеспечения борьбы с хищениями социалистической собственности в организациях и учреждениях государственной торговли, потребительской, промысловой и инвалидной кооперации, в заготовительных органах и сберкассах, а также для борьбы со спекуляцией.
В 30-е годы существенно расширились возможности милиции в области внесудебной репрессии. 27 мая 1935 года приказом НКВД была объявлена подписанная Ягодой и Вышинским инструкция тройкам НКВД по рассмотрению дел об уголовных и деклассированных элементах и злостных нарушителях положения о паспортах. Инструкция предусматривала обязательное участие в заседании тройки прокурора и лица, привлекаемого к ответственности. Решение тройки приводилось в исполнение немедленно, а протокол направлялся на утверждение Особого совещания НКВД СССР.
В тройках рассматривались дела о следующих категориях лиц:
а) имеющих судимости или приводы за уголовные преступления и не порвавшие связи с уголовно-преступной средой;
б) не имеющих судимостей или приводов, но не занятых общественно полезным трудом, не имеющих определенного места жительства и связанных с уголовно-преступной средой;
в) воров-рецидивистов, уличенных в конкретных преступлениях;
г) хулиганов-рецидивистов, приговоренных ранее судом за хулиганство не менее двух раз к тюремному заключению или к принудительным работам на срок от года и более, в случае совершения ими хулиганства, вызывающего необходимость привлечения их снова в уголовном порядке;
д) нищих-профессионалов;
е) злостных нарушителей паспортного режима.
Эти меры повлияли на снижение уровня преступности. Так, 17 марта 1936 года НКВД СССР издал специальный приказ по итогам работы за 1935 год, в котором говорилось, что по сравнению с 1934 годом в СССР число вооруженных грабежей снизилось на 45 процентов, невооруженных грабежей – на 46 процентов, квалифицированных краж – на 32 процента, конокрадства – на 55 процентов.
Усилившаяся международная напряженность сделала необходимым осуществление мер, обеспечивавших готовность милиции к работе в условиях военной обстановки. С этой целью приказом НКВДСССР от 3 июля 1939 года было введено в действие наставление по мобилизационной работе в органах рабоче-крестьянской милиции. Наставление определяло ее задачи, и обязанности на случай военного времени. Одновременно на места была направлена директива по вопросам разработки мобилизационных планов территориальных органов внутренних дел. Новые задачи по повышению боевой готовности милиции были поставлены в приказе НКВД от 26 февраля 1941 года. Каждый орган обязывался иметь планы сбора личного состава по тревоге.
Подготовка страны к обороне обусловила необходимость наделения НКВД СССР и его органов некоторыми новыми функциями. В частности, в октябре 1940 года на органы внутренних дел была возложена задача организации местной противовоздушной обороны страны.
В соответствии с ЗакономСССР "О всеобщей воинской обязанности" от 1 сентября 1939 года на органы милиции возлагалась обязанность осуществлять учет военнообязанных и призывников. Для этого во всех городских, районных и поселковых отделениях милиции были созданы военно-учетные столы. В предвоенные годы они проделали значительную работу по систематизации и учету военнообязанных, организации и призыву на действительную военную службу в Красную Армию.