En 1198, Jarenton de Vernon ratifie, pour 50 sous, la vente de la châtaigneraie “del Bassolent” faite au profit de l’abbaye des Chambons. Un document daté de 1289 nous apprend qu’un accord est passé entre Pons, seigneur de Beaumont, et Pons, seigneur pour partie de Joannas, par l’intermédiaire de B. de Vernon, coseigneur de Vernon, et du recteur de l’église de Chabreilles.
En 1333, Odilon de Vernon rend hommage à l’évêque de Viviers pour son château de Vernon. Un petit bourg castral a dû se développer au pied du château & de l’église: deux maisons habitées sont mentionnées dans le castrum de Vernon en 1464.
Le château fut la propriété de la famille Ginestoux, qui l’a vendu en 1764 à Louis-Auguste Dussargues de Vernon, lequel la vends à son épouse Adèle-Christine de Vanel de Lisleroi le 03 mai 1816, vente contestée par Joseph-Guillaume d’Allamel de Bournet demeurant à Joyeuse.
Le site de Vernon domine, sur une hauteur, un des méandres de la vallée de la Beaume, près de l’église, dans une propriété, s’élève un grand corps de logis avec une tour circulaire munie de bouches à feu attribuables au XVe ou au XVIe siècle, l’ensemble du bâtiment a été très remanié aux XVIIIe & XIXe siècles mais diverses ouvertures laissent supposer la présence de maçonneries antérieures au XVe siècle.
