Com o Terramoto de 1755, que devastou Lisboa e toda a região circundante, o convento da Pena caiu em ruína, edifício mandado construir por D. Manuel I. Apenas a Capela, na zona do altar-mor, com o magnífico retábulo em mármore e alabastro permaneceu intacta. Foram estas ruínas, no topo escarpado da Serra de Sintra, que maravilharam o jovem príncipe D. Fernando II.
Assim, o palácio tornou-se sobretudo a expressão viva da sensibilidade romântica de D. Fernando de Saxe-Coburgo-Gotha, um “Rei-Artista” que tendo nascido no estrangeiro nem por isso deixou de compreender e amar profundamente os valores da Cultura Portuguesa.
Inicialmente, desejou restaurar apenas o convento, com vista a adaptá-lo a sua residência de Verão. Esta primeira fase das obras teve início em 1838 e durou dois anos. Depois, incentivado pelo seu génio artístico, a que não foi estranha a influência do artista e arquitecto alemão Ludwig Von Eschwege, decidiu transformar o convento arruinado num castelo-palácio ao estilo romântico.
Assim, deu início ao seu sonho romântico: reconstruir o antigo convento e anexar-lhe uma parte nova para complemento desta residência de Verão da família real portuguesa.