浮山远在晋梁时代（266—557）就建立了寺庙，时为“浮山寺”，后毁于兵燹。陈隋年间（557—618），浮山成为佛教天台宗智顗大师的道场。赵宋以后，是佛教曹洞宗的祖庭——圆鉴大师禅扬佛法的圣地。宋朝天禧年间（1017—1021），河南郑州名僧远禄来此住持，是为浮山第一代开山禅师，宋仁宗赐号园鉴大师，又赐寺名“大华严寺”。欧阳修慕名而来，请园鉴说法，园鉴以弈棋作比，说明佛教原理。远禄坐化后，建塔会圣岩，塔铭为范仲淹所撰，现存塔系明朝重修。随着浮山寺更名为“大华严寺”，浮山进入了佛教的鼎盛时期。到了明朝万历年间，明神宗下诏，颁赐“藏经、袈裟”，如今圣旨碑尚存。清康熙年间，无可大师（即明清之际的思想家、科学家方以智）主持华严寺。历史上，这里曾经寺庙、塔院林立，数度繁盛，高僧辈出，成为驰名中外的佛教丛林。同时，浮山又是我国道教三十六洞天之一，在此修法学道之人，汉有左慈，宋有张同之，明有雷鲤等。明清之际，农民起义军陈友谅、张献忠等久踞浮山，占山为寨，太平军也以此山为根据地，与清军在山下多次恶战，华严寺几乎荡然无存。