Szilvásvárad igen régi település, már a kőkorszakban is emberlakta hely volt az Istállóskői barlang. Egy ősembercsoport élt itt akkor. Írásos anyag először Fényes Elek geográfiai szótárában szerepel róla, amelyben megjegyzi, hogy a barlangban ezer sertés könnyedén elfér. Korán egyháza lett, a pápai tizedlajstromokban és a legrégibb oklevelekben (1300 körül) Warad néven emlegetik. I.Károly idején, 1438-ig királyi birtok, később Albert király a Pálóczi családnak adományozta a közeli Dédessel együtt. Ettől kezdve ZylvasWarad, majd SylvasWarad alakban találjuk a község nevét. A Pálóczi család kihalásával a Perényiek birtoka lett. Ebben az időben csak Szilvás néven említik. A község egy része 1568-ban a protestáns Kátay Ferenc birtokába került, a lakosság reformátussá vált, és 1576-ban már önálló egyházat kapott. Eger elfoglalása után török kézre került, majd a Kátayak mellett birtokosaivá lettek a Semseyek és a Báriusok is. 1666 után a község Keglevich Miklós birtoka lett. A XIX. század második felében Keglevichtől Erdődy Rudolf gróf vásárolta meg a települést, utána Wessely csehországi gyáros a tulajdonosa. A park közepén álló kastélyt Erdődy gróf építette. A XX. század elején Pallavichini Alfonz őrgróf vásárolta meg az épületet, amely 1945-ben állami tulajdonba került. Később SZOT üdülő. A települést 1960-tól üdülőhelynek nyilványították, 1971-től pedig nemzetközi üdülőhely rangot kapott.