Legendi kohaselt lasi Carl Magnus hoone ehitada oma poja Alexandri tarbeks, kuna tihti tallis aega veetnud poiss haises sõnniku ja loomade järele. See vihastas vana parunit ning ta olevat lausunud: „Virtsa lõhnaga mina juba ühes majas ei ela!“

Hoone ehitati 19. sajandi esimesel poolel. Arvatavasti oli kahekordne hoone algselt mõeldud külaliste ööbimispaigaks. 20. sajandi alguses elasid seal aidamees, valitseja ja kirjutaja, vahepeal ka sepp ja meier. Lisaks asusid seal mitmed majapidamisruumid: triikimisruum, majahoidja tuba ja köök.

Ka tänapäeval on hoone külastajate kasutuses – seal asub Palmse külalistemaja.