Erbaut wurde es 1715 für Graf Heinrich von Flemming, den oberstem Günstling von Kurfürst Friedrich August dem Ersten.
Es befindet sich auf der Neustädter (nördlichen) Elbseite und ist leicht an seinem fernöstlich geschwungenen Dach zu erkennen.
Elbseitig befindet sich ein kleiner Barock-Garten mit Ausblick auf die Brühlsche Terrasse. Von 1715-16 wird es an den holländischen Gesandten von v. Craneborg vermietet und erhält den Name „Holländisches Palais“.
1717 geht es in den Besitz August des Starken über, der ab 1722 seine Sammlung von ostasiatischen-und Meissner Porzellan aufbewahrte.