Hobusetall ja tõllakuur kuulusid mõisates kõige tähtsamate kõrvalhoonete hulka, nendeta ei olnud olemas ühtegi mõisasüdant. Ka Palmse mõisa tallide ja tõllakuuride kohta leidub andmeid juba üsna vanast ajast, näiteks 1722. aastal oli siin kaks talli, neist suurem 20 hobusele.

Praegune tall-tõllakuur on kerkinud mitmes järgus: osalt on selle rajamisel kasutatud samale kohale juba 1779 kuni 1781 ehitatud kivist karjahoovi kagupoolse tiiva müüre. Oma tänase kuju sai hoone aga Carl Magnus von der Pahleni poolt 1820ndate algul tehtud ümberehituse käigus. Paremail aegadel oli tallis 36 sõiduhobust.

Hoone taastati 1977. aastal ja praegu asub siin Lahemaa rahvuspargi külastuskeskus.