Vom 15. Jahrhundert bis zu seinem Verkauf an Friedrich I., Landgraf von Hessen und König von Schweden, 1739 gehörte das Gut zur Grafschaft Rantzau. Friedrich I. übergab das Gut und einige weitere Ländereien an seine unehelichen Söhne, die zu Grafen von Hessenstein erhoben wurden. Der direkt an der Ostsee liegende Gutshof wurde um diese Zeit herum erbaut, das heutige Herrenhaus wurde um 1800 errichtet.

Schloss und Gestüt Panker gehören zu den Gütern der Hessischen Hausstiftung neben Schloss Fasanerie in Fulda, Schlosshotel Kronberg sowie das Hotel Hessischer Hof in Frankfurt und das Weingut Prinz von Hessen im Rheingau.