Im Jahre 1643 wurde Conrad Balthasar Graf Starhemberg von Kaiser Ferdinand II. mit einem großen Gut belehnt, das 1647 ins Eigentum des Grafen überging. Darüber hinaus erhielt er vom Kaiser einen „Freibrief“, der ihn von allen Abgaben und Steuern befreite. Seit damals wurde das Gut im Volksmund „Freihaus“ genannt. Georg Adam Graf Starhemberg ließ es im 18. Jahrhundert vergrößern und ein zweites Stockwerk aufsetzen. In dieser Gestalt blieb das Freihaus bis 1913 bestehen und war um die Jahrhundertwende das größte Mietshaus Wiens. Die interessante Einbauchung der Hausfront entstand durch eine Senkgrube, deren Zuschüttung die Baubehörde untersagte.

1787 wurde im Freihaus auch ein kleines Theater eröffnet. Als der damalige Theaterdirektor Schikaneder 1791 in finanzielle Schwierigkeiten geriet, bestürmte er Mozart, ihm für das Freihaustheater eine zugkräftige Oper zu schreiben. Diese Oper, „Die Zauberflöte“, zu der Schikaneder selbst den Text schrieb, wurde am 30. September 1791 hier uraufgeführt.

Mozart weilte auch gerne im Garten des Freihauses, in einem kleinen Lusthaus, in dem der bekannte Komponist an einigen seiner Schöpfungen arbeitete. Heute steht es im Garten des Mozarteums in Salzburg.

Im Jahre 1744 begann man vor dem Freihaus einen Kleinmarkt, vorwiegend für Milch abzuhalten. Die Milch wurde in Aschen (= Milcheimern) verkauft, und der Markt zunächst Aschenmarkt, später abgekürzt Naschmarkt genannt. In der folgenden Zeit dürfte es auf dem Naschmarkt neben den Milchverkäufern bereits Obst- und Gemüsestände gegeben haben, denn 1793 erfolgte eine Verordnung, wonach alles Obst und Gemüse, das auf dem Wagen nach Wien gebracht wurde, auf dem Naschmarkt zum Verkauf gelangen musste. Fester Bestandteil des Naschmarktes waren lange Zeit die resoluten Marktverkäuferinnen, auch „Fratschlerinnen“ genannt. Sie gehörten zweifellos zu den originellsten Wiener Figuren des 19. Jahrhunderts. Um die Jahrhundertwende siedelten sich die Händler, die so genannten „Standler“, am heutigen Standort des Naschmarktes, an der Wienzeile an.