Die Kombination von Gebäude und Sammlung zog über eine lange Zeit sehr spezielle Besucher:innen an. So traf man hier schon auf „Vampir:innen“, die angeblich bereits seit 1784 den Narrenturm immer wieder besuchten. Auch Geisterjäger:innen haben ein Faible für das Gebäude entwickelt, wenn man allerdings bis spät in die Nacht allein im Turm arbeitet, merkt man schnell, dass es hier nicht spukt. Nur die lärmenden Menschen unterhalb des geöffneten Bürofensters können einen schon mal mit ihren Gesprächsthemen erschrecken.