De oorspronkelijke Joodse Museum van Wenen werd opgericht in 1896 en was het eerste Museum van zijn soort in de wereld. Het Museum bestond met de steun van de "Maatschappij voor de inzameling en het behoud van de artistieke en historische monumenten van het Jodendom". Hij was gericht op de geschiedenis en de cultuur van de Joden in het Oostenrijks-hongaarse Rijk. Zijn collectie voorwerpen en producten uit Palestina ook tot uiting in het politieke debat over het Zionisme. Het Museum is gesloten direct na de machtsovername van Oostenrijk door de Nazi ' s. In het laatste jaar van haar bestaan had 6474 verschillende tentoonstellingen. In 1939 werden ze overgebracht naar het Museum van Volkenkunde en andere instellingen.

De meeste van de dingen die werden teruggestuurd naar de Joodse gemeenschap in de vroege jaren 1950-er jaren, maar sommigen konden pas om terug te keren in de jaren 1990. Veel van de tentoongestelde voorwerpen waren verloren. Wanneer de Nieuwe Joodse Museum werd geïnventariseerd, bleek dat de helft van de oorspronkelijke verdwenen. Maar de overige dingen zijn zeer zeldzame voorwerpen, vertegenwoordiger van hoe de objecten van het dagelijks leven en de unieke materialen.

Op 31 December 1964 kleine Joodse Museum werd geopend in een nieuw gebouw op Matigheid, maar niet ontvangen heeft bijna geen aandacht van het publiek. Na 3 jaar is het Museum al gesloten.

De eerste tentoonstelling van het nieuwe Joodse Museum van Wenen werd geopend op 7 Maart 1990 in de tijdelijke locatie in de kantoren van de Joodse gemeenschap. Een aanzienlijk deel van de tentoonstelling werd samengesteld uit de collectie van max Berger. In 1992 verhuisde het Museum naar zijn huidige woning in de Palais Eskeles in Dorotheergasse. Het Museum werd geopend, een jaar later, in 1993. De bibliotheek is open voor het publiek sinds 1994.

Vanaf het najaar van 2011 opende het Museum haar deuren na een complete renovatie, het gebouw zelf en het bijwerken van de permanente tentoonstelling. Na de reparatie, het Joods Museum begroet de bezoekers met een nieuwe verlichting, die werd gemaakt in overeenstemming met de oorspronkelijke. Permanente tentoonstellingen in het Museum zijn ingedeeld in drie zones.