Das Custom House ist eines von dreizehn Zollhäusern, die im frühen Amerika in Salem gebaut wurden. Es ist bekannt für seinen Auftritt in Nathaniel Hawthornes RomanThe Scarlett Letter von 1850. Da Salem zu dieser Zeit ein wichtiger Seehafen für die Vereinigten Staaten war, wurden Zollhäuser gebaut, um Steuern auf eingehende Fracht zu erheben. Zunächst während der Kolonialzeit für die britische Regierung gesammelt, begann die amerikanische Regierung 1789 mit dem Sammeln der Gelder. Die Bedeutung der Struktur für die Bundesregierung zeigt sich in ihrem eleganten Design und der beeindruckenden Liebe zum Detail mit ihrer breiten Treppe und den hohen Decken und exquisite Holzschnitzereien.
Dies war das letzte Zollhaus, das für diese Büros gebaut wurde. Der Autor Nathaniel Hawthorne arbeitete tatsächlich als Landvermesser im Haus, und seine Zeit dort inspirierte seinen Meisterroman. Heute können Besucher einen Blick in sein ehemaliges Büro werfen und anhand verschiedener Exponate die Geschichte des Zollprozesses kennenlernen.