从潇湘楼溯湘江二三百步，即见祁阳古城墙，正如康熙《祁阳县志》所记，潇湘庙在潇湘门内垣，因此，原来的祁阳县古城墙应该延至现在的潇湘楼，二者相距不远，故古城墙附之潇湘庙。