После октябрьской революции 1917 года руководство большинством мест заключения было возложено на Карательный отдел Народного комиссариата юстиции, образованный в мае 1918 года. Частично этими же вопросами занималось и Главное управление принудительных работ при Народном комиссариате внутренних дел.
июня 1922 года Совет Народных Комиссаров принял постановление о сосредоточении руководства всеми местами заключения (кроме общих тюрем) в одном ведомстве. 12 октября того же года, во исполнение Постановления СНК РСФСР, Народным комиссариатом внутренних дел совместно с Народным комиссариатом юстиции было принято постановление, согласно которому Центральный исправительно-трудовой отдел (бывший Карательный) НКЮ и Главное управление принудительных работ НКВД объединились и вошли в Главное управление местами заключения в системе НКВД. Однако, общие тюрьмы, по-прежнему, оставались в системе Народного комиссариата юстиции.
В начале 20-х годов происходили поиски путей совершенствования управления системой мест лишения свободы. Уже в 1923 году, в связи с созданием ОГПУ СССР, было принято решение о создании в рамках этого нового Управления знаменитого СЛОНа - Соловецкого лагеря особого назначения; на территории бывшего суздальского монастыря был размещен особый лагерь ОГПУ тюремного режима.
Изменения происходили и в системе мест заключения, подведомственных НКВД. Уголовный кодекс РСФСР 1922 года определил, что основными местами лишения свободы являются исправительно-трудовые дома, трудовые сельскохозяйственные и ремесленные колонии, переходные исправительные дома. К этому времени концентрационные лагеря и лагеря принудительных работ практически прекратили свое существование. Уже в 1921 году в них поступали осужденные за малозначительные преступления и пленные. И хотя численность лагерей принудительных работ возросла с 89 в 1921 году до 103 в 1922 году, они, по сути своей, перестали быть прежними местами заключения и постепенно превращались в переходные исправительные дома или вообще закрывались.
Принятый в 1924 году ИТК РСФСР предусматривал следующие виды мест лишения свободы: дома заключения, исправительно-трудовые дома, сельскохозяйственные, ремесленные и фабричные колонии, изоляторы специального назначения, переходные исправительно-трудовые дома, трудовые дома для несовершеннолетних, колонии для больных заключенных, институты психиатрической экспертизы. В середине 1925 года в РСФСР насчитывалось 304 исправительно-трудовые колонии.
Согласно постановлению ЦИК и СНК СССР от 6 ноября 1929 года вместо изоляторов специального назначения были созданы исправительно-трудовые лагеря в отдаленных местностях, находившиеся в ведении ОГПУ.24 апреля 1930 года в ОГПУ было образовано Управление лагерями, а первое упоминание о собственно ГУЛАГе имеется в приказе ОГПУ №73/37 от 15 февраля 1931 года.
15 декабря 1930 года ЦИК и СНК СССР приняли постановление о ликвидации Наркомов внутренних дел союзных и автономных республик. Руководство местами заключения, организацией ссылки с принудительными работами и принудительных работ без содержания под стражей передавалось Наркоматам юстиции союзных и автономных республик, однако, при этом исправительно-трудовые лагеря оставались в ведении ОГПУ.
Прошло три с половиной года и 10 июля 1934 года ЦИК принял постановление о создании нового комиссариата - НКВД СССР, в состав которого на правах самостоятельного подразделения вошло Главное управление исправительно-трудовых лагерей и трудовых поселений. Спустя несколько месяцев - в октябре 1934 года из состава НКЮ в НКВД были переданы исправительно-трудовые колонии. Тогда же в ГУЛАГ НКВД были переданы и общие тюрьмы. Таким образом, в ведение НКВД передавалось большинство мест лишения свободы. ГУЛАГ стал называться Главным управлением лагерей, трудпоселений и мест заключения.
В 1935 году были созданы новые исправительно-трудовые учреждения - трудовые колонии для несовершеннолетних, а чуть позже также в составе НКВД создавался еще один вид лишения свободы - тюрьмы.
октября 1938 года НКВД издает новый приказ о переименовании ГУЛАГа в Главное управление исправительно-трудовых лагерей и трудпоселений, а 26 февраля 1941 года это же управление стало называться Главным управлением исправительно-трудовых лагерей и колоний НКВД СССР. После окончания Великой Отечественной войны, в связи с реорганизацией наркоматов в министерства, Главное управление исправительно-трудовых лагерей и колоний в марте 1946 года вошло в состав МВД СССР.
Следующим организационным изменением в системе исполнения наказаний стало создание, на основании приказа МВД СССР №500 от 27 октября 1956 года, Главного управления исправительно-трудовых колоний, которое в марте 1959 года было переименовано в Главное управление мест заключения.