Le Conservatoire de l'agriculture s'est construit autour d'une importante collection de machines et d'outils qui retrace l'histoire de l'agriculture et de sa mécanisation, de 1800 à 1960. A la fin des années 1970 et au début des années 1980, c'est par la collecte du Sedima (Syndicat des entreprises de distributions de machines agricoles) auprès des concessionnaires et des agriculteurs, que les collections ont d'abord été constituées. Le Compa a ensuite bénéficié de deux importantes campagnes de don et de dépôt de l'Institut National Agronomique de Paris-Grignon, en 1986 et en 1998. Enfin, c'est par des achats et surtout par de nombreux dons de particuliers que les collections continuent de s'agrandir. En 1990, le Conservatoire comptait environ 250 machines et 170 dessins et gravures ; aujourd'hui, il compte 8.000 numéros à l'inventaire. Au départ exclusivement orientées sur les machines agricoles, les collections se sont ensuite élargies aux métiers et aux débouchés liés à l'agriculture (bourrellerie, maréchalerie, charronnage, alimentation, ...), ainsi que vers les représentations du monde rural (estampes, affiches, photographies,...). Un fonds iconographique de plus de 300 photographies originales et 400 œuvres graphiques (estampes, affiches, dessins…) nous donnent à voir les représentations du monde rural et à mieux comprendre ses mutations sociales, techniques et scientifiques. Le Compa possède également une collection de jouets agricoles, la plus importante en France. Enfin, l'art contemporain est présent au musée : sculptures, photographies, installations, etc. En 2012, le Compa a bénéficié du transfert des collections du musée des Ruralies, près de Niort et d'Agropolis-Museum à Montpellier : deux musées ayant reçu l'appellation Musées de France qui avaient fermé leurs portes quelques années auparavant.