Im Jahr 1246 endete die Herrschaft der Andechser, an ihre Stelle traten nun die Wittelsbacher. Diese entdeckten Starnberg ab dem 14. Jahrhundert immer mehr als Sommersitz für sich. Daraus resultierten zahlreiche Umbauten der Burg, so dass in den Baurechnungen der Hofkammer von 1514 nur noch von einem „Schloss“ die Rede war. In der „Topographia Bavariae“ wurde es sogar um 1560 zum geschmackvollsten in Oberbayern gekürt. Die Erweiterungen um ein Sommerhaus und ein Gerichtsgebäude im 15./16. Jahrhundert zeugten von der wachsenden Bedeutung des Standortes. Zur sommerlichen Unterhaltung des Hofes und zur Jagd auf Seevögel und Wildtiere wurde ab dem Ende des 15. Jahrhunderts eine Flotte aufgebaut. Den Höhepunkt dieser Entwicklung stellte der Bucentaur (1663-1758) dar, welcher von 128 Ruderern bewegt wurde. Zur Versorgung stachen mit dem „schwimmenden Jagdschloss“ teilweise 20-30 Schiffe in See.

Mit dem Bau der Pfarrkirche St. Josef zwischen 1764 und 1766 an der Stelle des Sommerhauses war das Ende für St. Benedikt gekommen. Bis auf den Chorraum wurde die Kirche zerlegt und als Materiallager für das neue Gotteshaus verwendet. Neben diesem wurde 1812 das erste Schulgebäude Starnbergs errichtet, nachdem 1803 das Dorf bereits Poststation geworden und das Schloss vom Rentamt (Finanzamt) in Besitz genommen worden war.

Starnberg Post 1947

Alte Post in Pöcking um 1950

Alte Post in Aufkirchen um 2015