In de middeleeuwen Annecy was de hoofdstad van Genève County en hoog in het centrum van Annecy, kasteel was de residentie van de graven van Genève. Het kasteel werd gebouwd in de twaalfde eeuw op de plaats van een fort gebouwd vier eeuwen eerder. In de XIII eeuw werd het de residentie van de graaf familieleden, kwam later in handen van de Hertogen van Savoye.

In de middeleeuwen werd het kasteel meerdere malen door brand verwoest, maar telkens weer, meer en meer het versterken van de verdediging. Echter, ondanks de dikte van de muren, dreigende blik en een eersteklas locatie op de top van een heuvel, in de eerste helft van de ZEVENTIENDE eeuw werd het kasteel ingenomen door het franse leger. In de ZEVENTIENDE eeuw werd het kasteel ondergebracht in de kazerne en loods, één keer zelfs, dat hij diende als onderdak voor de daklozen. Alleen in het midden van de twintigste eeuw werd het gebouw met de status van historisch monument, en vandaag de dag herbergt een Museum waar u kunt zien van kunstwerken en voorwerpen uit verschillende tijdperken.

Een van de prominente bewoners van het kasteel was Robert van Genève, geboren in 1342 de zoon van graaf Amadeus III. Robert van Genève is ook bekend door de naam van de anti-Paus Clemens VII – een nogal agressieve en wrede, bijgenaamd de slager en de beul voor hun manier van werken met de rebellen. In de tweede helft van de veertiende eeuw in de Katholieke wereld had twee vaders – een officieel verkozen als urbanus VI en de tweede, de gekozen kardinaal de "oppositie" van Clemens VII, die had gehoopt om Rome met geweld omver te werpen en urbanus VI. Dat is mislukt, de valse Clement vestigde zich in Avignon, die eenmaal gevestigd aan de pauselijke residentie.

Na de dood van Clemens VII in 1394, Annecy werd Verenigd met Savoye en verloor zijn status als hoofdstad van het Graafschap Genève en de Graafschap ook niet. Dankzij de Hertogen van Savoye, werd het kasteel zijn mooiste toren van Perrier.

Vandaag is het kasteel is omgeven door prachtige tuinen en andere historische bezienswaardigheden. Met de muren zichtbaar vanuit de stad zelf en het meer van Annecy.