Elisabeth Weeshuis is in 1560 gesticht uit de nalatenschap van Elisabeth, Vrouwe van Culemborg. In 1952 is het opgeheven. Nu is er het Museum Elisabeth Weeshuis gevestigd. Op de 18e-eeuwse poort van het Weeshuis staat een gevelsteen met een Latijnse tekst: ‘Der burgeren kroost te vroeg van ouderzorg ontbloot, ontvangt Elisabeth hier nu koesterend op haar schoot’. De wapens van Elisabeth en haar echtgenoot Anthony van Lalaing staan erboven.
Diverse vertrekken ademen nog de sfeer van het oude weeshuis. De protectorenkamer (regentenkamer) dateert uit 1800 en is in stijl ingericht. Ook in de antieke keuken, waar voor de wezen gekookt werd, is weinig veranderd. Achter het huidige museum ligt een schitterende tuin, die begrensd wordt door de 14e-eeuwse stadsmuur. Hier vindt men vaste planten, groenten, klein fruit en een druivengalerij.
Het Weeshuis werd al snel na de stichting in 1560 geconfronteerd met een van de grootste crises in zijn bestaan: de Reformatie. Met harde hand dwong de graaf van Culemborg de weeskinderen over te gaan op de gereformeerde leer.