L'établissement du christianisme à Nîmes se situe vers le début ou le milieu du IVe siècle. Un concile est tenu en cette ville en 393 contre les ithaciens. Une première cathédrale, dédiée à la Sainte Vierge, pouvait exister sur le site d'un ancien temple romain dédié à Auguste et, le martyre de saint Félix, en 407, a pu coïncider avec la ruine de cet édifice. Des fragments de construction, découverts en 1920, laissent voir des traces d'incendie jusque dans les substructions indiquant le sort qui lui fut réservé.

Les mêmes fouilles ont dégagé une construction postérieure attribuée au VIIe siècle, sinon plus tard. La protection, consentie par Charlemagne en 808, réunit les biens de l'abbaye de Saint-Baudile à ceux du chapitre, et ont suivi à la construction d'une nouvelle cathédrale orientée vers l'est et précédée d'un atrium.

Pour une raison inconnue, incendie ou devenue trop petite, la cathédrale carolingienne est remplacée sous l'instigation de l'évêque Pierre Ermengaud, qui siége de 1080 à 1090. II préside à l'institution des chanoines réguliers et, par conséquent, à toutes les constructions capitulaires, y compris la cathédrale.

Le 6 juillet 1096, le pape Urbain II consacre l'autel de la nouvelle cathédrale, dédiée maintenant par le titre de Notre-Dame ou Sainte-Marie, en présence du comte de Toulouse, Raymond de Saint-Gilles. Le prince croisé, désireux d'aider la construction, épouse l'église en présence des prélats qui assistent à la consécration et apporte en dot le domaine de la Bastide et Font-Couverte situé à 5 kilomètres ainsi que des terres à Bellegarde. Ces dons lui ont valent d'être appelé « fondateur de l'église » et marquent le début des constructions. La nef centrale est flanquée de deux bas-côtés; à l'extrémité de ceux-ci se trouvent deux chapelles dédiées à Saint-Pierre et Saint-Paul. Elle mesure 21 mètres de large et 54 mètres de long. La nef est divisée en cinq travées soutenues par des contreforts pleins à l'extérieur; l'abside, à pans coupés, exclut la présence d'un déambulatoire et des chapelles absidiales.

Pendant les guerres de religion, l'édifice est détruit deux fois : une première fois en 1567 et reconstruit en 1610, une deuxième fois en 1621 et enfin reconstruit en 1646 en partie grâce à un impôt spécial prélevé tant auprès des catholiques que des protestants. L'édifice est orienté vers l'est mais l'axe du chœur est dévié vers le sud par rapport à l'axe de la nef. On peut s'en rendre compte en se plaçant dans le milieu de la chapelle du chevet et en prenant pour alignement la croix du maître-autel et les orgues.

La façade appartient à deux époques : au XIe siècle, dont les pierres froides en Barutel ont été noircies par le temps, et au XVIIe, dont les pierres crayeuses portent une teinte moins sombre. Les parties du Moyen-Âge n'ont été respectées par les démolisseurs que par la nécessité de contrebuter le clocher, nécessaire comme tour d'observation. La tour rectangulaire date du XIe siècle jusqu'au deuxième étage inclusivement. Un merlon des créneaux primitifs se voit encore à gauche et au-dessous du cadran de l'horloge; le troisième étage, à mâchicoulis, remonte au XIVe siècle; enfin la partie des cloches (étage supérieur) est du XVe siècle.

La porte actuelle à fronton est bâtie en 1822, dans le style grec. Un claveau de l'ancien portail du XIe siècle, retrouvé dans les fouilles de 1911, du côté de l'ancien évêché, permet d'affirmer qu'il est de l'époque romane.

Après la Révolution, le diocèse est supprimé le 29 novembre 1801 et la cathédrale reçoit le nom d'église Saint-Castor, patron de la paroisse.

Lors de la restauration du diocèse, le 6 octobre 1822, l'édifice prend le nom de cathédrale Notre-Dame et Saint-Castor.

De 1877 à 1882, la cathédrale est restaurée de Mgr. François Besson sur les plans de l'architecte Antoine Henry Révoil, tout le chœur est alors repris depuis les fondations. Du premier édifice il ne reste que la base du clocher et quelques pans de façade avec de très beaux éléments sculptés.

L'orgue : En 1643, l'instrument est reconstruit par les frères Gaspard et André Eustache. L'orgue primitif comprenait 22 jeux répartis sur 2 claviers et pédalier court. De cette période ne subsitent que le buffet du grand orgue et une dizaine de jeux. Après diverses interventions de plusieurs facteurs, le frère Jean-Esprit Isnard ajoute un Clairon à la pédale et effectue une réparation à la soufflerie en 1752. L'orgue sera plusieurs fois agrandi et transformé: Dominique Cavaillé-Coll lors d'une réparation en 1823, puis Daublaine et Callinet en 1845 et Pujet en 1863. En 1896, Michel Merklin de Lyon, remanie l'orgue et le porte à 43 jeux répartis sur 3 claviers et pédalier, mais supprime le positif de dos d'origine. Le buffet de l'isntrument est classifié par la Commission des Monuments Historiques en 1968. De 1974 à 1982, le facteur Alfred Kern reconstitue la boiserie et la tuyauterie du positif de dos, l'orgue retrouvant son aspect originel. Le souci de la restauration a su concilier deux objectifs: rendre à l'orgue son classicisme français (Grand Orgue, Positif, Récit court) et sauvegarder les apports du XIXeme siécle (le quatrième clavier).