Budynek, położony w Waszyngtonie przy 1600 Pennsylvania Avenue, zaczął powstawać w październiku 1792 roku. Uroczyste oddanie do użytku nastąpiło w roku 1800.