1784. aastal sai mõisa omanikuks major Hermann von Bencendorff, kes rajas ka 17. sajandil hävinenud linnuse varemetele lossi. 1816. pantis mõisa major Bencendorffi pojalt, hilisemalt Eestimaa Rüütelkonna peamehelt ja tsiviilkubernerit Paul Friedrich von Bencendorffilt Adam Johann von Krusenstern.
Pärast Adam Johann von Krusensterni surma elutses Kiltsis tema poeg Paul Theodor von Krusenstern. Krusensternide perekonna kätte jäi mõis 1911. aastani, mil Adam Johann von Krusensterni pojatütar krahvinna Sophie von Rügiger müüs selle Alfred parun Uexküll-Güldenbandtile.
18. sajandi lõpus – 19. sajandi alguses oli Eestis võrdlemisi tavaline, et mõisaomanikud vahetusid tihti. Sageli ei läinud mõisad käest-kätte mitte vahetult ostu-müügi, vaid esialgu pantimise teel. Nii oli 19. sajandi alguses märkimisväärne osa Eesti- ja Liivimaa mõisatest pandiomanike käes.