L’ancien château qui s’élevait sur la motte féodale près du donjon a été complètement détruit.  Le seul document qui nous reste est une lithographie d’Engelmann exécutée entre 1820 et 1830. Elle représente ce qui reste du château, des restes de murailles encore debout avec des ouvertures plein cintre nombreuses et le donjon à peu près tel qu’il est aujourd’hui.
Ce château occupait la motte féodale qui subsiste, les morceaux qui subsistent correspondent bien à celles représentées sur la lithographie. Ces murs, qui n’étaient plus soutenus, ont dû s’écrouler ou être démolis pour utiliser les pierres, car quelques années plus tard il n’en subsistait rien. On sait que ce château était entouré de douves.
Nous évoquerons donc le « second château », construit par Arthur de MAGNEVILLE au XVIème siècle.
Cet ensemble de bâtiments n’est pas un château, mais plutôt la « basse-cour » de l’ancien château. Le donjon bénéficia à cette époque de quelques aménagements : tour d’escalier, , ouvertures plus nombreuses avec meneaux…
Arthur de Magneville construisit donc de nouveaux bâtiments, séparés seulement de l’ancien château par les douves qui devaient occuper l’emplacement de la route actuelle. La seule description de cet ensemble est celle laissée par un acte établi après la révolution en 1795 , soit environ 250 ans plus tard.

Cette description la voici : «  La basse-cour du ci-devant château de La Haye du Puits consistant en caves, salles, chambres et greniers dessus, pressoir à tour, avec une grande cave, grange, deux écuries, deux chambres pour lesquelles il y a deux cachots, deux autres chambres servant de prison, une charterie, sur laquelle il y a un grenier une petite chambre avec un petit appartement au-dessus de l’ancienne boulangerie, un grenier dessus, un hangar, un jardin potager, un puits dans la cour avec seau et chaîne et de tous côtés les douves du ci-devant vieux château, la portion de la maison du ci-devant garde et le vivier du moulin…. L’acquéreur aura le droit de servitude pour accéder, maintenir ou réparer ses maisons et clôtures par les commissaires à la somme de six mille six cents livres ».
On peut remarquer qu’il n’est pas question de tout ou tourelle ou des bâtiments d’habitation du marquis, mais de cachots, de prison, du moulin…
Un autre document, est un plan établi lors d’un procès intenté au sieur HUE par M. Mme Caillebot de La Salle pour avoir construit des bâtiments appuyés sur ceux de la basse-cour du château et pour avoir e partie comblé les douves du château. Sur ce plan la motte féodale est entièrement de douves, lesquelles se prolongent au Sud des bâtiments de la basse-cour vers la rivière qui passe derrrière les bâtiments et sur laquelle se trouve le moulin. Ce plan nous apprend que l’on accédait au château ou plutôt à la basse-cour du château par une large avenue « de 100 pieds de largeur » (environ 30 m ) bordée d’arbres..

Actuellement, le château, qui a subi quelques dommages à la dernière guerre, a été rénové ce qui a modifié son aspect extérieur et dissimulé ou détruit, les ouvrages spécifiques de sa construction, dans la première moitié du XVIème siècle.
Certains éléments sont restés intacts : la tour carrée de 4,50m de côté présente encore à l’intérieur, côté cour à sa base,  une large entrée plein cintre murée et sur la façade qui correspond à l’ancienne charterie, on distingue trois fenêtres superposées dont la seconde comporte encore un meneau transversal, protégée par un larmier d’origine.
La petite tour, à pans coupés, construite juste à droite de cette tour, est remarquable par sont entrée construite en pierres calcaires, fronton triangulaire et pilastres cannelés.
A l’intérieur, quelques entrées voûtées avec des murs très larges (1,60m) .
La deuxième partie du château a gardé un aspect plus ancien. Une tourelle borne le bâtiment côté nord, une fenêtre à meneaux, sur la façade de la tour. Le bâtiment possède des caves voutées d’origine.

Ces bâtiments sont séparés du « donjon » par la D900 certainement tracée au début du XIXème siècle, une partie des douves a été comblée à cette époque, et une partie du bâtiment qui se trouvait accolé à la partie extérieure de la tour carrée a été certainement détruit.