明清时期，在庆远府供职的不少有识之士多次重修山谷祠，其中规模较大的有几次。明世宗嘉靖六年(公元1527年)，庆远府知府、安徽祁门人叶，用罚款、积粟以及每年祭祀余款，加上地方名人李华乐捐的白银40两，在原址重修，建有一个讲堂。在讲堂墙上，写有白鹿洞学规，同时还建有斋室、仓房、厨房，又重修围墙，修建外门，门上横匾题名“龙溪书院”；在路口建牌坊一座，牌坊上横匾题名“黄山谷先生祠”。祠院建成后，用公款买田100亩，每年收入，主要用于祭祀。乾隆十八年(公元1753年)，庆远府署知府查礼，捐银四百余两重修，祠内设黄山谷木制碑位，并以张自明配祀。这次重修，有堂宇3间，两旁有厢房，前面设重门，整修墨池，宝华亭。建成后，查礼规定每年六月十二日黄山谷先生诞辰之际，举行隆重祭祀仪式。 　　清仁宗嘉庆六年(公元1801年)，广西巡抚谢启昆得到代理庆远府知府宋开衡有重修山谷祠想法的消息，特地捐俸资助，并寄给宋开衡诗一首，以示鼓励。宋开衡主持这次修葺，重建了山谷祠，奉祀黄山谷，并以范寥配祀。在祠后修黄山谷先生衣冠墓一座。历代山谷祠，都是宜州地方人士讲学、祭祀的圣地。每年当值黄山谷先生诞辰之日，人们扶老携幼，远近跋涉赶来祭祀。山谷祠内蜡炬闪烁，香烟飘渺，祭祀歌声萦绕不绝。“遗蜕衣冠慷慨词，景仰一般同，苏门四学士，文章气节孰如公。南方创造新奇迹，无限深恩重。南楼希绛帐，歌讽岁月延天空，赢得胜名标显绩，开化第一功。祭祀千秋分，宜吾学界之尊崇。”字里行间，洋溢着祭祀者对黄山谷的崇敬之情。后来由于-和种种原因，山谷祠被毁，祠内文物大多数散失，仅存一山谷自画像。1985年秋，0宜山县委、县人大常委会、县人民政府、县政协决定在白龙公园内重建黄山谷祠。在广西轴承厂的捐资支持下，1986年春破土动工，同时十月竣工。祠为古式建筑，重檐挑角，琉璃瓦面，祠内正中墙上立黄山谷自画像碑，祠后重修黄山谷衣冠墓一座。