Vyborg kasteel werd opgericht in 1293 zweedse Kruisvaarders Wilke Knutson, nadat het werd meerdere malen herbouwd, maar in het Algemeen bijna niet te wijzigen van het uiterlijk. Het kasteel is gelegen op een eiland die kan worden bereikt over voet van de brug over de Baai is er een afdaling rechtstreeks naar het kasteel poorten. Door het gebied, het kasteel is klein, en heeft geen muren, in plaats van ze rond de omtrek van het kasteel gebouwd krachtige residentiële en commerciële gebouwen met hoektorens, gebouwd van rotsblokken.

In het kasteel zijn er drie kleine patio (ondergrens, Bovengrens en Smeden), en de smalle, gebogen, kasseien, stijgende naar boven straat. Het onderste deel van het kasteel gebouwd van donkere stenen, en over al de gebouwen hoog stijgt Grote witte toren van de Bisschop Olaf, een waar symbool van Vyborg — toren kan worden gezien vanaf elk punt van de stad.

De Olaf-toren, met een grote kubusvormige zeshoekige basis en top, werd gebouwd in de XIII eeuw, een paar keer overbuild en had een hoogte van 80 meter, maar na de brand in de achttiende eeuw sterk werd herbouwd, en nu is haar een hoogte van 45 meter. De toren kan je beklimmen en genieten van het panorama van de oude Vyborg Bay en eindeloze beboste skerries.

Aan de voet van de toren is een kleine Smederij binnenplaats, die je kunt krijgen in het Museum, en de historische reenactment center, waar u kunt op pantser, de speer of een zwaard en een schild, en een foto voor weinig geld.