Хоеншвангау е бил построен още през 12ти век. Собствениците му са били рицарите на Швангау. През 16ти век последните рицари на Швангау измират, след което замъкът, нестопанисван от никого, запада и започва да се руши от времето. През 1800г и 1809г, по времето на наполеоновите войни, замъкът е бил почти напълно разрушен. Поради чудесното си местонахождение, развалините на замъка са били закупени от коронования принц Максимилиан, който по-късно става крал Максимилиан II, баща на крал ЛудвигII. Реставрацията започва през 1832г и завършва четири години по-късно, давайки на замъка сегашния му вид.