Het kleine Paleis werd gebouwd in 1317. Het ligt in het Noordelijke deel van het plein, tegenover de Pauselijke residentie, en is zo genoemd vanwege haar bescheiden omvang en waarde, vergeleken met het Paleis van de pausen.

Het verhaal van zijn uiterlijk vaag: volgens de ene versie – het werd gebouwd voor een neef van Paus Johannes XXII, Arnaud de via, op de andere - het werd gebouwd door kardinaal Berengere F. Senior. Na zijn dood, het Paleis en de omliggende gebied werd aangekocht door de kardinaal van Arnaud de via. In 1335 de via de stierf en het Paleis niet bij iedereen tot de aankomst van Paus Benedictus XII, die weer gekocht en bleek het in de officiële residentie van de Aartsbisschop van Avignon.

Het gebouw werd zwaar beschadigd in de periode van 1396 in 1411. omdat het werd beschouwd als een versterkte citadel van de pausen van Avignon. Na het einde van de vijandelijkheden, het Paleis geleidelijk raakte het in verval. In de tweede helft van de XV eeuw Bisschop Alan de Cotui en de volger Giuliano della Rovere (die later zou uitgroeien tot Paus Julius II besloot om het gebouw te restaureren en te 1503, gaf hem bijna oorspronkelijke vorm. Della Rovere aangekomen in Avignon in 1474, als werd hij benoemd door zijn oom, Paus Sixtus IV, Bisschop van Avignon. Hij bouwde de zuidelijke en Westelijke gevels in de stijl van de italiaanse Renaissance en in 1487 werd een toren gebouwd (later, in 1767, het was vernietigd).

Tijdens de franse revolutie, het Paleis werd het eigendom van de staat, in de negentiende eeuw werd het huis naar een Katholieke school, en later school voor beroepsonderwijs. Alleen op het einde van de twintigste eeuw op het grondgebied van het Palace Museum werd geopend.

Sinds 1958 is er het Museum van de Middeleeuwen. In 1976 was er een art gallery met werken van meesters uit de Renaissance. In de 19 de hallen van het Museum, in het bijzonder het werk van Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, waaronder hier is de beroemde "Madonna" van Botticelli.