Pillham wurde 1130 erstmals urkundlich erwähnt. Es ist nicht bekannt, wann hier erstmals ein Herrensitz oder Schloß erbaut wurde. Die Besitzer Pillhams – verschiedene lokale Adelsgeschlechter – wechselten durch Erbschaft und Verkauf häufig.