Juba 13. sajandi alguses asus praeguse linnuse kohal Muinas-Eesti linnus Tarvanpää. Linnust mainib ka Henriku Liivimaa kroonika seoses paavsti legaadi Modena Wilhelmi külaskäiguga 1226. aasta talvel.

Kui taanlased 1238. aastal Virumaa oma võimu alla said, rajati muinaslinnuse kohale esimesed kivihooned, millest vanimatena on säilinud kahe poolkeldri katked hilisema pealinnuse edelanurgas.

14. sajandil seisis siin taanlaste rajatud, ligi kahe meetri paksune ringmüürlinnus.

Pärast Jüriöö ülestõusu läks Rakvere linnus 1346. aastal Liivi ordu valdusesse. Siis alustati linnuse laiendamist ja pealinnuse välja ehitamist. Ordu ajal sai ringmüürkindlusest ajapikku võimas sisehooviga konvendihoone. Selles olid nüüd neljakorruselised lasekavadega tornid, ümmargune suurtükitorn ehk rondeel ning tõstesillaga värav.

Liivi sõja ajal (1558–1583) kuulus linnus venelastele. Juurde ehitati enda alla 4,5 hektarit haaranud eeskaitsevöönd. 1581. aastal vallutas Rootsi vägi Pontus de la Gardie juhtimisel linnuse venelastelt tagasi.

Aastatel 1602–1605 kuulus linnus poolakatele, kes selle rootslaste eest taganedes 1605. aastal osaliselt õhku lasid. Hiljem tegid seda veel ka võidukad rootslased ning sellest ajast seisis linnus varemeis. 1635. aastal kustutasid rootslased Rakvere linnuse kindluste nimekirjast ning edaspidi kuulus see Rakvere mõisale.

Taani kuningriik          1220–1225      Valdemar II
Mõõgavendade ordu   1225–              Wolquin
Paavstiriik                   1225–1227      Honorius III
Mõõgavendade ordu   1227–1238      Wolquin
Liivi ordu                    1237–1238      Hermann von Balk
Taani kuningriik          1238–1346      Valdemar II
Saksa ordu                  1346–1347      Heinrich Dusemer
Liivi ordu                    1347–1558      Goswin von Herike
Vene tsaaririik             1558–1581      Ivan IV Groznõi
Rootsi kuningriik        1581–1602      Johan III
Rzeczpospolita            1602–1605      Zygmunt III Waza
Rootsi kuningriik        1605–1710      Karl IX