1981 kommen in unmittelbarer Nähe des Renaissanceschlösschens Hofen Reste einer mittelalterlichen Burganlage zu Tage.

Dieser urkundlich erstmals 1456 erwähnte „Turm zu Lochen“ dürfte bei der Errichtung des seit 1597 als Schloss bekannten Bauwerks „Schloss Hofen“ abgerissen worden sein.

1496 wird die Burg Michael Vaistlin als Lehensträger der Witwe des Hans Werner von Raitenau übergeben. Die Familie Raitenau geht auf die Burg Unterraitenau bei Lindau zurück.

Der Lochauer Besitz kommt 1562 in die Hände von Hans Gaudenz, der die Lochauer Linie der Raitenauer gründet, und mit dem Ausbau zum Renaissanceschlösschen Hofen beginnt.

Bereits 1658 erlischt der Vorarlberger Zweig der Raitenauer.