Selon la légende, les moines bâtisseurs auraient demandé aux anges de leur apporter les pierres nécessaires à la construction du pont de Pont-Saint-Esprit, enjambant le Rhône.
Une fois suffisamment de pierres réunies, les anges seraient repartis. Ceux qui se trouvaient au-dessus de Lussan auraient alors laissé tomber la leur, qui se serait plantée à l’endroit même où se dresse aujourd’hui le menhir.
C’est ainsi qu’il aurait reçu le nom de Pierre Plantée.