Am Fuße des Sayner Burgberges erbauten die Herren von Reiffenberg, Ministerialen der Sayner Grafen, im 14. Jh. ein mittelalterliches Burghaus. 1753 fiel es durch Heirat an die Freiherren Boos von Waldeck, die es zu einem barocken Herrenhaus umbauten. Anfang des 19. Jahrhunderts wurde der Besitz durch Erwerb der unmittelbar benachbarten Güter und Weinberge des Reichsfreiherren vom und zum Stein vergrößert. Als Fürst Ludwig zu Sayn-Wittgenstein-Sayn mit seiner schönen russischen Gemahlin, Fürstin Leonilla, 1848 aus Russland wieder in die alte Heimat der Familie zurückkehrte, kaufte er das Anwesen mit den gesamten zugehörigen Liegenschaften von dem damaligen Koblenzer Landrat Graf Clemens Boos von Waldeck.