Schloss Sorg, im Jahr 1647 erbaut, befindet sich auf der Schwarzach-Terrasse. Dieses barocke Herrenhaus entstand erst nach dem Dreißigjährigen Krieg, vorher ist darüber nichts bekannt. Es wurde von Franz von Schwab bewohnt, der hier 1671 verstarb und in der Kirche von Wendelstein begraben ist. Das Schloss gehörte ab 1697 verschiedenen Eigentümern, darunter die Familie Riet. 1853 kaufte Johann Michael Scheuerlein das Anwesen, das er als Bauernhof nutzte, und es ist bis heute im Besitz seiner Familie. Das Schloss wurde restauriert, wobei insbesondere die wertvolle Stuckdecke erhalten blieb. Es umfasst eine Galerie mit Fotos sowie gepflegte Räume für verschiedene Veranstaltungen, darunter traditionelle Weihnachtsmärkte im Dezember.