Thuật ngữ “Nhà Trắng” thường được dùng để chỉ chính quyền của tổng thống Hoa Kỳ đương nhiệm do đó là nơi làm việc chính của tổng thống Hoa Kỳ, (xem Hoán dụ). Dịch vụ Vườn Quốc gia (NPS) quản lý mảnh đất vườn thuộc Công viên Tổng thống.

Toà Bạch Ốc được xây dựng sau khi Quốc hội quyết định thành lập Đặc khu Columbia và chọn nơi này làm thủ đô Hoa Kỳ ngày 16 tháng 7 năm 1790. Tổng thống George Washington cùng với Pierre L’Enfant, người chịu trách nhiệm qui hoạch thành phố, giúp chọn địa điểm này.

Kiến trúc sư được chọn qua một cuộc thi với chín đề án gởi đến dự thi. James Hoban, người Ireland, là người thắng cuộc; toà nhà được khởi công xây dựng với lễ đặt viên đá đầu tiên vào ngày 13 tháng 10 năm 1792. Toà nhà theo thiết kế của Hoban mô phỏng tầng trệt và lầu một của toà nhà Leinster House, dinh thự của một công tước toạ lạc ở Dubin, Ireland, ngày nay là toà nhà Quốc hội Ireland.

Công cuộc kiến thiết Toà Bạch Ốc hoàn tất ngày 1 tháng 11 năm 1800. Tiến độ thi công cực kỳ chậm, phải mất 8 năm và tiêu tốn 232.371,83 USD, tương đương với 2,4 triệu USD theo trị giá ngày nay tính cả mức lạm phát. Cổng trước và sau chỉ được thêm vào kiến trúc toà nhà cho đến năm 1825.

Toà nhà lúc đầu được gọi là Dinh Tổng thống (Presidential Palace hoặc Presidential Mansion). Dolley Madison gọi nó là “Lâu đài Tổng thống”. Tuy vậy, có chứng cớ cho thấy trong năm 1811, toà nhà này lần đầu tiên được gọi là “Nhà Trắng”, vì mặt ngoài của nó được sơn trắng. Tên gọi Dinh Hành pháp cũng thường được dùng đến trong các văn kiện chính thức cho đến khi Tổng thống Roosevelt thiết lập tên chính thức của nó là “Toà Bạch Ốc”, tên này được khắc lên các vật dụng văn phòng của tổng thống năm 1901.

John Adams là tổng thống đầu tiên đến sống trong Toà Bạch Ốc từ ngày 1 tháng 11 năm 1800. Năm 1814 trong lúc diễn ra cuộc chiến năm 1812, nhiều toà nhà ở Washington, D.C. bị thiêu rụi bởi binh lính Anh, Nhà Trắng cũng đứng trơ trọi với những bức tường chỏng chơ. Nhiều người cho rằng chính trong lúc tái thiết, người ta tìm cách phủ lấp những thiệt hại của toà nhà do hoả hoạn bằng những lớp sơn màu trắng, do đó trở nên tên gọi cho toà nhà; nhưng cách giải thích này là không có nền tảng bởi vì toà nhà đã được sơn trắng từ năm 1798.

Cũng giống các dinh thự vùng quê nước Anh và Ireland mà nó mô phỏng, từ đầu thế kỷ 20, Toà Bạch Ốc được mở cửa cho công chúng. Tổng thổng Thomas Jefferson cho mở cửa toà nhà đón tiếp người dân vào dịp lễ nhậm chức nhiệm kỳ thứ hai của ông năm 1805, khi một đám đông dân chúng, đến tham dự lễ tuyên thệ tổ chức tại Điện Capitol, đã theo tổng thống về nhà và được tổng thống tiếp đón trong Phòng Lam (Blue Room).

Toà Bạch Ốc vẫn được mở cửa theo những cung cách khác; Tổng thống Abraham Lincoln than phiền rằng ông thường xuyên bị bao vây bởi những người đang kiếm việc làm, đến gặp ông yêu cầu được bổ nhiệm vào những vị trí chính trị hoặc đòi hỏi những đặc ân khác khi tổng thống mới bắt đầu một ngày làm việc của mình. Lincoln thà chịu đựng những phiền phức này hơn là gánh nguy cơ trở nên thù địch với những người thân tín hoặc bạn hữu của một chính trị gia đầy quyền lực nào đó, hoặc một người có ảnh hưởng trên dư luận quần chúng.