Иван Дмитриевич Шмелев родился 1 (14 июня) 1912 года в Воронеже в семье рабочего-клепальщика с паровозоремонтного завода Дмитрия Семеновича и домработницы в услужении Елизаветы Петровны Шмелевых. Продолжив семейные традиции по окончании фабрично-заводского училища, непродолжительное время работал на этом же заводе слесарем, где участвовал в агитационном коллективе «Синяя блуза».

После распада коллектива был направлен комсомольской организацией на обучение вокалу в Воронежский музыкальный техникум, где занимался в классе Ивана Ивановича Березнеговского. По окончании техникума переехал в Москву, продолжив обучение на отделении сольного пения в МГК имени П. И. Чайковского у профессора Ксении Николаевны Дорлиак. Как обладатель редкого по красоте мягкого теплого тембра голоса, будучи студентом последнего курса, был принят на службу в музыкальный театр им. Немировича-Данченко, там сыграл ряд главных партий (Онегина, Сильвио, Веденецкого гостя). Параллельно выступал на эстраде с русскими народными песнями и лирическими песнями советских авторов, джаз-композициями преимущественно из репертуара Леонида Утесова и романсами из репертуара любимого исполнителя Петра Лещенко.

В 1940 году после гастролей в Воронеже был отозван из театра в ряды РККА в качестве солиста Ансамбля песни и пляски НКВД СССР под управлением Зиновия Дунаевского и Сергея Юткевича. С этим коллективом выступал на фронтах Великой Отечественной войны. В его репертуаре были песни народов мира и песни советских композиторов, посвященные войне, среди которых «Темная ночь», «Шумел сурово Брянский лес», «Заветный камень», «Два друга», «Три танкиста» и другие. Сотрудничал со всеми работавшими в те годы в этом жанре композиторами и поэтами, многие из которых писали свои песни под него. Так он стал первым исполнителем многих известных хитов: «О фонарике», «Эх, дороги…», «Казаки в Берлине», «Мне бесконечно жаль», «Весенний вечер», «Вечерний час», «Сормовская лирическая», «Верный друг», «Тропки-дорожки», «Протрубили трубачи тревогу» и других.

В 1946 году с песнями «О фонарике» и «Заветный камень» стал лауреатом 2-го конкурса артистов эстрады.

В послевоенные годы Иван Шмелев исполнял советские песни сначала как солист Всесоюзного радио, позже Гастрольбюро СССР, в штате которого посетил с гастролями все крупные города бывшего СССР. Много выступал за рубежом, в том числе Китае, Польше, Болгарии, Албании, Германии.

Как оперный певец играл партии Онегина, Альфио, Марселя, Алеко, Фигаро, Дон Жуана (до 1950 года).

Награжден орденами Красной звезды и Отечественной войны II степени, медалями «За оборону Москвы», «За оборону Ленинграда», «За оборону Сталинграда», «За победу над Германией в Великой Отечественной войне 1941-1945 гг.»

Ушел из жизни в возрасте 47 лет 30 мая 1960 года. Захоронен в колумбарии Донского монастыря.

В сентябре сорок второго года женился на артистке балета Ансамбля песни пляски Центрального клуба НКВД Анастасие Александровне Немитц, дочери вице-адмирала Александра Васильевича Немитца и Анастасии Александровны Врубель, племяннице русского художника Михаила Врубеля. В браке родились сын и две дочери.

Сын Дмитрий окончил факультет хорового дирижирования, класс профессора Серафима Попова, работает хормейстером.

Внучка Юлия обучалась на кафедре альта в МГК имени П. И. Чайковского, работает в камерном оркестре Musica Viva, которым руководит ее муж, известный дирижер и виолончелист народный артист России Александр Рудин.

Их дочь Соня — студентка на отделении скрипки в МГК имени П. И. Чайковского.

Внучка Дарья работает воспитателем детского сада, ее дочь Саша поет в Большом детском хоре имени Виктора Попова