Le manoir trouve son origine dans la construction d'un barrage sur le Lot appelé d'Orgueil, élevé avec une dizaine d'autres à la fin du 13e siècle aux frais du roi d'Angleterre. Les revenus associés aux barrages, en particulier les droits de péages, sont accaparés par les seigneurs riverains qui implantent souvent un édifice fortifié à proximité. Selon Gilles Séraphin, l'ancienne tour de Ladhuie ou Laduguie, disputée durant la guerre de Cent Ans entre les partisans du roi de France et d'Angleterre, est remplacée après l'épisode guerrier à la fin du 15e siècle par un manoir, peut-être pour Armand de Laduguie mentionné entre 1502 et 1506 ; la mouluration des croisées paraît conforme à cette datation. Un second corps de logis est adossé à l'ancienne construction à la limite des 16e et 17e siècles, probablement pour la famille de Lagoutte, seigneurs de Lapoujade à Saint-Vite. Ce logis est agrandit, vraisemblablement durant la 1ère moitié du 17e siècle ; la pièce voûtée du rez-de-chaussée peut correspondre à la chapelle domestique, voûtée est carrelée, interdite suite à la visite pastorale de Mgr Claude Joly en 1667. Durant la Révolution, le château "très rustique à trois étages, cinq chambres à chacun, et un grenier au dessus, [...] une cour, un engard sous lequel sont trois tonneaux vinaires, [...] une écurie et parc à cochon, le tout en mauvais état, la charpente bonne et une belle grange en bon état", est vendu parmi les biens de l'émigré Brous Cézerac comme bien national. Au 19e siècle, un escalier extérieur donnant sur une terrasse est aménagé contre l'élévation sud.
L'ensemble intégré à une laiterie au 20e siècle, est actuellement en cours de restauration.