Het kasteel is een ideaal startpunt aan de rand van de hoge en grillige rotsen in de Wachau-vallei, op vysote Petrovna de rechteroever van de Donau in de buurt van Melk. Bekend als de "Hoeder van de Wachau", het kasteel staat op deze plek voor meer dan 1000 jaar.

Oude records in de historische documenten die vermelden een ideaal uitgangspunt dateren van het jaar 1135. Oorspronkelijk was het kasteel werd gebouwd als de eigendom van de Bisschop van Passau. De plaats voor de bouw werd gekozen voor bepaalde waar ooit een Romeins fort. Het oudste deel van het Paleis dateert uit de 12e eeuw, maar in de volgende eeuwen werd meerdere malen herbouwd.

De familie is een ideaal uitgangspunt eigenaar van het kasteel voor bijna twee honderd jaar tot de dood van het laatste lid - Ulrich von Sanmichele in het begin van de 14e eeuw. Binnen een korte periode werd het kasteel in de handen van Conrad von Eisenbeil, en vervolgens in de eigendom van het klooster van Melk. Echter, de Abt was spoedig gedwongen om te verkopen het kasteel, en in 1396 werd het fort onder controle van de broers Casper en Gundaker von Starhemberg. Meer dan vier eeuwen de nakomelingen van de von Starhemberg verhoogd en verbeterd het kasteel. Onder deze was Bartholomeus von Starhemberg, die was een van de eerste leden van de Oostenrijkse aristocratie, die speelde voor Lutheranism in 1482. Dit leidde tot de oprichting van een sterke Protestantse tradities in het kasteel, die duurde tot 1639, toen Conrad von Balthasar Starhemberg verhuisd, terug naar het Katholicisme, en een teken van hun engagement gebouwd dicht bij het kasteel-klooster.

De meest bekende soort van Starhemberg, die eigenaar was van het kasteel, Ernst rüdiger, die een cruciale rol gespeeld in het beschermen van de hoofdstad van Oostenrijk, Wenen van de turkse invasie in de late 17e eeuw. Zijn achterkleinzoon Ludwig Josef Gregor verkocht het kasteel in 1819 aan graaf Franz von Beroldingen. Ze zeggen dat de laatste paar generaties van Starhemberg niet in het kasteel woonde. Daarom, toen de Graaf van Beroldingen gekocht, alles was verlaten. Echter, hij herbouwde het kasteel en veranderd in woonwijken.

In 1930, zijn achterneef verkocht het kasteel op aan de graaf von Oswald, die verloren zijn kasteel tijdens de oorlog en de Sovjet-bezetting. Echter, in 1955, het kasteel is de ideale uitvalsbasis was teruggekeerd naar de familie en blijft in hun bezit tot nu toe.