В 1948 года у бухгалтера и плотника родился младший сын Алексей.

Жила семья небогато. Всемером (родители, трое детей, бабушка с дедушкой) — в 16-метровой комнате на окраине Москвы, в поселке Рыбокомбината.
Нехитрую мебель смастерил отец семейства. Причем в комнатке помещались и огромная печь, и три кровати. А воду приходилось брать на улице, в колонке.
Старший (разница — всего полтора года) брат Алексея Александр тоже стал актером, но потом увлекся аукционными торгами в сфере недвижимости. Сестра Антонина выбрала профессию гримера.
В детстве Алеша любил смотреть выступления цирковых гимнастов, обожал клоунов. Дома корчил рожицы, рисовал себе помадой огромный рот... И очень любил анекдоты и розыгрыши.
Родители старались развивать детей всесторонне. Летом мальчишки гоняли мяч, а когда подросли — стали подрабатывать на стройке. Зимой катались на коньках, играли в хоккей. В доме была гитара. Все рисовали, читали. А брат привел Алексея во Дворец пионеров. Будущий народный артист занимался в студии художественного слова, учился играть на баяне. Но на настоящий инструмент у отца денег не было. Тогда Леша вырезал его из фанеры, нарисовал клавиши и стал учиться на нем. Заметив это, дед скопил денег и купил мальчику баян.
В 12 лет Лешу пригласили выступить в Колонном зале Дома Союзов. Он читал со сцены «Василия Теркина» Твардовского и аккомпанировал себе на баяне. Там его и обнаружил режиссер Марк Донской, подыскивавший исполнителя на роль пионера Пети в картине «Здравствуйте, дети!». Так состоялся дебют Жаркова в кино. Ему было 13 лет.