Подразделения и части пограничных войск принимали активное участие в борьбе с басмачеством в Средней Азии, совместно с частями Красной Армии – в вооруженных конфликтах на Китайско-Восточной железной дороге (1929), в районе озера Хасан (1938), реки Халхин-Гол (1939), в советско-финляндской войне 1939-1940 годов.

В начале Великой Отечественной войны 1941-1945 годов пограничные подразделения, дислоцированные на западной границе, вместе с частями Красной Армии первыми приняли на себя удар немецких войск и оказали им героическое сопротивление. В годы войны из личного состава пограничных войск были сформированы части и соединения для действующей армии. Помимо охраны государственной границы на них также была возложена охрана тыла фронтов и армий, организация и руководство истребительными батальонами, организация сопротивления на оккупированной территории.

За ратные подвиги свыше 100 тысяч пограничников были награждены орденами и медалями, 158 воинам-пограничникам присвоено звание Героя Советского Союза.
С 1946 года пограничные войска подчинялись министерству внутренних дел (НКВД было преобразовано в МВД), с 1949 года – министерству государственной безопасности, с 1953 года – опять МВД, с 1957 года – Комитету государственной безопасности (КГБ) при Совете министров СССР (с 1978 года – КГБ СССР).

В декабре 1991 года указом президента СССР Главное управление пограничных войск было упразднено, его функции переданы образованному Комитету по охране Государственной границы СССР.