Al sinds de stichting in 1626 bezit de stad een belangrijke haven, die vooral in de scheepsbouw en later voor de handel met China van grote betekenis was. De Villa’s van de door de Chinahandel rijk geworden burgers sieren nog altijd het stadsbeeld. Maar hier heeft zich in het verleden ook een donker hoofdstuk vin de vroege Amerikaanse geschiedenis afgespeeld : in 1692 werden 19 personen als heksen verbrand. In het Salem Witch Museum wordt via de verschrikkelijke media de hysterie duidelijk gemaakt waarvan de vermeende heksen het slachtoffer zijn geworden.
Het Salem van het begin van de 19e eeuw is nog duidelijk zichtbaar in verscheidene gebouwen uit de boeitijd van de Chinahandel. Bezienswaardig zijn de Derby Wharf, het Scale House en het Custom House. De West India Goods Store verkoopt nog altijd thee, koffie en specerijen.
Het House of Seven Gablesuit 1668 is door Nathaniel Hawthorne vereeuwigd in zijn gelijknamige roman. Op het terrein staan het geboortehuis van Hawthorne en twee andere huizen uit de 17e eeuw.