Op de historische locatie van het Gevangenismuseum, de Koloniën van Weldadigheid in Veenhuizen was vroeger een hospitaal gevestigd met de naam Vertrouw op God. Bij dit gebouw hoorden 3 dienstwoningen met de sprekende namen Toewijding, Bitter en Zoet en Plichtsgevoel. In deze huizen zijn nu 15 ruime gastenkamers en een restaurant gevestigd. Het voormalige hospitaal doet nu dienst als vergaderlocatie en er zijn appartementen gerealiseerd.
De 3 dienstwoningen zijn, met gevoel voor historie, prachtig verbouwd tot een hotel met de naam Bitter en Zoet. De ruime kamers hebben hoge plafonds. Oorspronkelijke kleuren en materialen zijn zoveel mogelijk weer gebruikt en authentieke details zijn bewaard gebleven. De indeling van de kamers is door de jaren heen niet veranderd. Dit zorgt voor een rustige, vriendelijke, huiselijke uitstraling. Alle kamers kijken uit op de tuin en de statige beukenlaan. Een plek om je meer dan thuis te voelen en de perfecte uitvalsbasis voor een bezoek aan het Gevangenismuseum.
Gasten die mindervalide zijn, kunnen terecht in aangepaste kamers. De huiskamers zijn eveneens rolstoeltoegankelijk. In het restaurant serveert men een 3, 4, of 5 gangen menu met gebruik van lokale producten.