Der Sohn des Herzogs, Karl Theodor, ein berühmter Münchner Augenarzt, veräußerte am 5. Mai 1900 den Besitz, der sich inzwischen auf 389 Tagwerk erweitert hatte, um 4 Millionen Mark an die »Terrain Aktiengesellschaft Herzogpark München, Gern«. Damit entstand das Bauprojekt und der Name »Herzogpark« und die Parzellierung der früheren herzoglichen Besitzungen in der Isarau zwischen Bogenhausen und Oberföhring-Grüntal zur Bebauung mit Villen.Das Areal des ehemaligen Edelsitz Steppergs kam in den Besitz des Kunstmalers und Fabrikanten Prof. Ernst Philipp Fleischer, der an Stelle des verfallenen Schlösschens 1909 eine überdimensionierte Künstlervilla zu bauen begann. Von Stepperg sind keine Reste mehr erhalten. In die sogenannte »Fleischervilla« zog zunächst der Reichsfinanzhof und nach dem Zweiten Weltkrieg der Bundesfinanzhof, der bis heute hier seinen Sitz hat.