Waarschijnlijk waren er op het huidige perceel van Spaarne 106 in de 17e eeuw vier gebouwen aanwezig. Na diverse kleine aanpassingen kwamen deze gebouwen rond 1760 in bezit van Maria van der Graas, een gefortuneerde weduwe uit de gegoede burgerij van Haarlem. Zij liet de gebouwen, waarschijnlijk naar een ontwerp van de bekende architect Jacob Otten Husly, samenvoegen en moderniseren tot een representatief woonhuis.

Toen het pand in 1879 eigendom werd van het bisdom Haarlem werd het St. Jozefgesticht erin onderbracht. Daartoe werd de verdieping van het achterhuis verbouwd tot kapel. Vanaf 1932 waren het Leger des Heils en een stichting voor verslavingszorg eigenaar en gebruiker van het gebouw, waartoe opnieuw diverse verbouwingen volgden.

Alle bouwfasen werden bij het bouwhistorisch onderzoek, dat in de periode 2014-2016 in enkele fasen werd uitgevoerd, nauwkeurig in kaart gebracht en voorzien van een waardenstelling.

Deze dient voor de architect als onderlegger voor het opstellen van plannen voor een herbestemming tot appartementen.