Zur Römerzeit befand sich auf dem Hohen Markt der Palast des römischen Militärkommandanten, in welchem sich Kaiser Marc Aurel längere Zeit aufhielt und wo dieser wahrscheinlich 180 n. Chr. auch starb. Im Mittelalter war der von zahlreichen Zunft- und Bürgerhäusern umgebene Hohe Markt das Zentrum des bürgerlichen Wien, von 1328 bis 1839 diente er auch als Hauptgerichtsplatz. Dieser allgemein als ältester Markt Wiens angesehene Marktplatz fand im Jahre 1233 als „forum altum“ Erwähnung. Aus Dokumenten des Jahres 1282 geht hervor, dass am Hohen Markt der Fischmarkt der Stadt abgehalten wurde, der 1753 durch eine Verordnung aus der Stadt an das Ufer der Donau verlegt wurde. Obwohl durch die Absiedlung des Fischmarktes der Hohe Markt seine Attraktivität als Marktplatz verlor und immer weniger Händler hier ihre Waren feilboten, hatte er doch bis ins Jahr 1939 als Wochenmarkt Bestand.

Im Jahre 1945 wurde der größte Teil des Hausbestandes am Hohen Markt zerstört, sodass nur noch ein Gebäude der Gründerzeit (Hoher Markt Nr. 5) erhalten ist.

Auch das „Ankerhaus“ wurde schwer beschädigt, konnte allerdings nach dem Krieg wieder vollständig renoviert werden.

Heute dominiert der so genannte Vermählungs- oder Josefsbrunnen den Platz. Kaiser Leopold I. hatte 1702 gelobt, eine Säule zu Ehren des hl. Josef zu errichten, wenn sein Sohn Josef I. nach der Bezwingung der Festung Landau glücklich aus dem Spanischen Erbfolgekrieg zurückkehren würde. Der marmorne Brunnen wurde 1725, an Stelle des ursprünglich von Fischer von Erlach entworfenen Holzbrunnens von dessen Sohn Joseph Emanuel errichtet. Die Figurengruppe in der Mitte stellt die Vermählungsgruppe (Maria, Joseph und den Hohenpriester) dar. Darüber wölbt sich ein bronzener Baldachin, der von vier Säulen getragen und von der Hl. Dreifaltigkeit bekrönt wird. Ein vergoldetes Wappen schmückt das Monument, welches von zwei Brunnenbecken flankiert wird, die wohl an die an dieser Stelle endende Hernalser Wasserleitung von 1564 erinnern sollen.