传说有五位仙人，身穿五彩衣，骑着五色羊，拿着一茎六穗的优良稻谷种子，降临“楚庭”，将稻穗赠给当地人民。说完后，五只羊则变成了石头。当地人民为纪念五位仙人，修建了一座五仙观，传说五仙观即为“楚庭”所在。由此，广州又有“羊城”、“穗城”的别名。

　　据说今广州惠福西路的五仙观就是五仙降临之地，广州人在此为纪念五仙人专门修建了五仙观，在大殿内还有五仙和五羊的塑像。在今五仙观东侧，还有一块巨大的红砂岩似脚印状的凹石，被称为“仙人拇迹”。