柳宗元《游黄溪记》云：“至黄神祠，祠之上，两山墙立”，则可知，元和年间，就有黄神庙（祠）。又据石刻光绪《新修黄溪庙记》中有“郡城庙立东山，始东汉……年湮代远，栋宇颓朽，兼周围狭隘……焕然一新，较前宽且峻耳”之语，可知，黄神庙始立于东汉，一在零陵城内东山上，一在黄神所生活的黄溪旁。且黄溪旁的黄神庙可能经过几次迁址，由原来狭隘处迁至宽敞处。

今观黄溪庙遗址（光绪间所修庙遗址），仍然较狭隘，但“墙立”之两山已经距离较远，因此，可以推知，此遗址与柳宗元所见黄神祠非同一处，但相距不远。