La famille de Grandmont (orthographe donnée par son représentant actuel, M. le marquis de Grammont, propriétaire du château de famille à Villersexel) est issue de la famille des barons de Granges, hauts barons du comté de Bourgogne dont elle s’est séparée au commencement du XIV" siècle.

Un manuscrit de la fin du XVII’ siècle (Annales du Parlement de Dole) explique ainsi l’origine du nom de Grandmont accolé à celui de Granges :
Huguenin, connétable de Bourgogne au XIIème siècle, baron de Granges, eut entre autres héritiers de son nom, Guy et Guillaume, deux frères qui se partagèrent les biens de leur maison.
A Guy, l’ainé, échut la terre de Granges et à Guillaume celle toute voisine de Grandmont, dont il prit le nom. Celui-ci fit construire, en 1330, sur le coteau qui domine la contrée, un vaste château-fort dont on apercevait, il y a peu d’années encore, les derniers vestiges. Lui et ses descendants y vécurent jusqu’en 1475, époque à laquelle le château en question fut détruit lors de l’invasion de la Franche-Comté par les troupes de Louis XI. L’église actuelle du village de Grammont conserve encore en parfait état les pierres tombales de quatre générations de seigneurs de ce nom qui se sont succédées à Grammont de 1330 à 1475.
Leur blason est celui de la maison de Granges et porte les croix de Bourgogne ainsi que les trois têtes des trois rois mages, en souvenir du voyage que firent les reliques de ces trois rois, ramenés de Terre Sainte par Frédéric Barberousse, conduits d’Italie en Suisse et accompagnés à Cologne où ils reposent aujourd’hui, par un sire de Granges, d’où l’origine de la devise actuelle de la famille de Grammont : "Dieu ayde au gardien des Roys" .

"Cette famille, a écrit Suchaux, a donné nombre de grands-officiers à la cour et aux armées des ducs de Bourgogne, ainsi que trois archevêques au siège métropolitain de Besançon". Quatre Grammont ont été lieutenants généraux aux armées du roi de France au XVIIIème siècle.

Antoine-Pierre 1er de GRAMMONT-GRANGES

Abbé de Bithaine, conseiller-clerc au parlement de Dole, chanoine de l’église métropolitaine et archevêque de Besançon, était issu de l’illustre maison du comté de Bourgogne connue dès le XIIème siècle.

Né en 1615, il fut nommé par le pape Alexandre VII en 1662 haut doyen du chapitre de Besançon mais ne crut pas devoir accepter une dignité dont la collation avait appartenu jusqu’alors aux chanoines. Ceux-ci lui furent reconnaissants de son respect pour leurs privilèges en l’élisant archevêque. Le pape refusa de confirmer l’élection, peu disposé qu’il était de reconnaître au chapitre le droit d’élire les archevêques, mais il offrit à Grammont des bulles de nomination qu’il accepta sous les réserves de droit.

Lors de la conquête de la Franche-Comté par Louis XIV en 1668, il concourut à la défense de Besançon, ne voulut pas exempter les ecclésiastiques du service militaire et alla lui-même sur les remparts encourager la résistance. Lors de la deuxième conquête (1674), il. fit son devoir, mais avec moins d’éclat, prévoyant que le sort de la province était irrémédiablement fixé.

Il rétablit les écoles de théologie, donna des éditions plus correctes du Missel et du Bréviaire, fit imprimer un Rituel, un Catéchisme, fonda un séminaire, contribua pour une forte somme à la reconstruction de l’Hôpital Saint-Jacques et mourut en 1698.

François-Joseph de GRAMMONT

Neveu d’Antoine-Pierre 1er, et son coadjuteur sous le titre d’évêque de Philadelphie, lui succéda sur le siège de Besançon.

Il reconstruisit le palais archiépiscopal, donna les nouvelles éditions du Bréviaire et du Rituel, publia un recueil de Statuts synodaux et mourut en 1715 après avoir légué sa fortune au séminaire du diocèse.

Antoine-Pierre II de GRAMMONT

Neveu du précédent, acheva ses études à Paris au collège Louis-le-Grand et fut, à 17 ans, aide-de-camp de son oncle le marquis de Grammont qui commandait alors sur le Rhin. Il fit, comme capitaine de cavalerie, la campagne de 1702, se signala dans diverses rencontres et blessé grièvement devant Spire, fut fait prisonnier.
Après son échange il rejoignit l’armée et obtint un régiment de dragons de son nom. Il se signala encore à Malplaquet, puis de retour en Franche-Comté, à la paix, il abandonna la carrière des armes, fut pourvu par son oncle d’un canonicat à Besançon et, en 1735, fut nommé par Louis XV archevêque de cette ville dans laquelle il mourut en 1754. Il était directeur de l’ Académie de Besançon où son éloge fut prononcé par le secrétaire perpétuel de Courboitzon.