C'est la montagne du Puy-de-Gaudy, qui se trouve à 3 km, au sud-est de la ville, éminence qui domine le pays d'alentour et qui est à l'origine de la ville de Guéret.

Le Puy-de-Gaudy fut habité par les Celtes et on retrouve les traces d'un habitat gallo-romain. Et de la présence, pendant plus de deux siècles, des Visigoths, dans cet endroit, il ne resta longtemps que l'enceinte de leur forteresse, nommée Ribandelle, fabriquée en granit vitrifié, avec du feu grégeois. C'est après leur expulsion (au VIIIe siècle), dans le terreau même de ces trois civilisations que Waractum (puis Garactum et Guéret) fut fondée, en même temps que son prieuré, rompant avec le paganisme précédent, mais bénéficiant de l'importance stratégique du lieu au point de devenir aussitôt un centre administratif.

Capitale du comté dès le Xe siècle, sous une autorité seigneuriale religieuse, la cité obtient, en 1406, une charte qui stipule que « les habitants sont et seront en icelle ville de franche liberté et condition », mais qu'ils devront payer au comte « à chacune feste de saint Michel, de taille franche, vingt livres tournois ».

C'est en 1440 que Charles VII adressa, de Guéret, une lettre (le 2 mai) aux habitants du Dauphiné, pour les engager à ne pas prendre part à la révolte dite de la Praguerie ;

C'est en 1521, le 27 avril, que la Coutume de la Marche fut promulguée au sein de la cité, en l'absence des délégués de Felletin ; et c'est à la fin du XVIe siècle que le château fut rasé sur ordre d'Henri IV, pour empêcher les ligueurs de s'y réfugier.

En 1635, nouvelle déclaration d'hostilité de Felletin, lors de l'établissement d'un présidial, à Guéret, dont allait relever le comté tout entier. La ville voisine crie à « l'usurpation ». Et en 1790, quand Guéret est proposée pour être le chef-lieu du département, c'est Aubusson, cette fois, qui proteste, alléguant de sa propre importance. Le débat est vif entre les deux cités, mais c'est Guéret qui l'emporte. L'ancienne capitale du Pagus waractensis a encore gagné.

Sources : " La Forteresse vitrifiée du Puy-de-Gaudy et la ville de Guéret" par J.-B. Thuot