Закладка первого камня в основание резиденции президентов США состоялась 13 октября 1792 года.

Участок для строительства на Пенсильвания-авеню выбирал лично первый президент США Джордж Вашингтон. Автором проекта выступил архитектор ирландского происхождения Джеймс Хобэн. Строительство "Белого Дома" продолжалось восемь лет, а его первыми жильцами стали второй президент США Джон Адамс с супругой Абигайль. Свое название резиденция получила благодаря облицованным вирджинским песчаником стенам, в качестве официального название было утверждено в 1902 году.