Als erster bekannter Besitzer wird vor 1461 Zawner Hanns genannt.
Von 1633 – 1635 ist es im Besitz des Gastgeb Adam Vorster.
Bausachen Nr. 4419: Streit, wer die „paufellig Mauer vnnd Schwibbogen der Schlossmaur zu negst meinem Heusel“ machen lassen soll, der Besitzer des Heusels, Adam Vorster, oder die Herrschaft Steyr, da dieser die Mauer gehört.
Gewölbe „unter dem Burgtor“
Das Haus steht an der Schlossmauer, „negst der Aufziehpruggen“, die auch mit „Gwelb gegen den Schlossgraben hinaus“ bezeichnet wird. Die Schlossbesitzer behaupten, die Baufälligkeit rühre nur her von einem Gewölbe, das der vorige Inhaber des Häusels zwischen beiden Mauern in der Herrschaft Grund und Boden, ohne deren Wissen aufgeführt hat. Tatsächlich wird der Streit dahin entschieden, dass Vorster die Mauer „negst dem Thor, des Oelbergs vnd meinem Heusel“ und das „Gwelb“ (den Schwibbogen) machen lassen muss. 1633. — StB 1635, S. 32.
Nachfolgend ist es bis etwa 1691 im Besitz des Gürtlers und Fragners Hörmann Georg und Maria.
„Bgr. — Test. d. Georg Hörmann, v. 29.3.1667. Univ.-Erbin seine HF Maria. Kinder: Franz, Anna Susanna, Anna Margaretha. Die beiden Söhne Matthias und Johannes sind Kapuziner, der Sohn Paul hat sich wider den Willen des Vaters bei der Wanderschaft in lutherische Orte und in Schweden in des Feindes Kriegsdienst begeben und wird deshalb enterbt. Geöffn. 31.10.1682.“ (Ingeborg Krenn)
Bis 1857 sind hier Gürtler, Fragner, Schnürmacher und Posamentierer ansässig.
Der Burg-bzw. Schlossgraben reichte ursprünglich über den Jörg-Reitter-Platz bis zur Schulstiege/Ölberggasse. Der Zugang zur Burg von der Berggasse erfolgte über eine hölzerne Zugbrücke zum oberen Burgtor.
1576 wurde die hölzerne Brücke durch eine Steinbogenbrücke ersetzt, 1838 wurde das Obere Burgtor abgebrochen und der Durchgang unter der Brücke durch die Zuschüttung des Schlossgrabens verschlossen.
