Песня была создана в 1940 году.

Она была частью сюиты, написанной композитором Анатолием Новиковым и поэтом Яковом Шведовым по заказу ансамбля Киевского особого военного округа. Музыкальное произведение должно было быть посвящено герою Гражданской войны Григорию Ивановичу Котовскому. С 1918 по 1921 годы он участвовал в боях на территории Молдавии и Одесской области. В «Смуглянке» воспевалась девушка-партизанка из красного отряда времен Гражданской войны, действовавшего в Молдавии. Закончить сюиту помешала Великая Отечественная.
В первые месяцы войны композитор Новиков по сохранившимся у него черновикам пытался «запустить» композицию на радио, но там ее забраковали. Ему отвечали, что в такой тяжелый для страны момент песня о любви была неуместна. Однако «Смуглянка» все же прозвучала в годы Великой Отечественной. Случилось это в 1944 году. К тому моменту обстановка на фронте была уже иной: Красная Армия прочно владела стратегической инициативой и уверенно громила войска противника. Композитору позвонил художественный руководитель Краснознаменного ансамбля песни и пляски Советской армии Александр Александров и попросил показать песни для новой программы своего коллектива. В числе других Новиков продемонстрировал и «Смуглянку», которую прихватил на всякий случай. Но именно она и понравилась Александрову, который тут же начал ее разучивать с хором и солистами.
Впервые ансамбль спел песню в Концертном зале имени Чайковского 4 ноября 1944 года. Запевал ее солист ансамбля Николай Устинов, которому песня эта в значительной степени обязана своим успехом. Концерт транслировался по радио. «Смуглянку» услышали миллионы человек. Ее быстро подхватили в тылу и на фронте. Композиция, в которой говорилось о событиях Гражданской войны, была воспринята как песня о тех, кто боролся за освобождение Молдавии в Великую Отечественную.
В мирное время песня продолжила исполняться многими представителями советской эстрады. В 1973 году она прозвучала в фильме Леонида Быкова «В бой идут одни старики». Режиссер вспоминал, что услышал эту композицию еще в военное время, когда ехал на подножке вагона, в котором находились летчики, артиллеристы и пехотинцы: советские солдаты дружно пели «Смуглянку». Успех фильма окончательно закрепил и успех «Смуглянки». Песню регулярно исполняют на концертах и других мероприятиях, посвященных Великой Отечественной.