Das erste Geschlecht, das in den Besitz des Hauses kam, war ein Kleinadelsgeschlecht aus Sterzing, die Hungerhausener.
Später waren die Jöchl-Rost und das Kloster Seefeld, später die Herren von Mörl die Herren im Ansitz. 1690 wurde der Ansitz Hungerhausen im barocken Stil schonend umgebaut.
Das Hauptwohnhaus ist noch in seiner spätgotischen Art erhalten. Ein barocker Erker, Rund- und Spitzbogeneingänge zu den Kellern zieren die Fassaden. Das alte Wirtschaftsgebäude wurde inzwischen zu einem modernen Wohnhaus umgebaut.