Das Decatur House war die erste private Residenz in der Nähe des Weißen Hauses. Das von Benjamin Henry Latrobe entworfene Gebäude, das auch Teile des Kapitols plante, hat eine lange Geschichte als Heimat ausländischer und amerikanischer Würdenträger und versklavter Menschen. Das Museum erzählt die Geschichten seiner ehemaligen Bewohner und durch sie eines jungen Amerikas.