西汉末年，秦丰率一支义军与光武帝争夺天下，在苏岭山附近建寨抗据，光武剪除他之后，巡游襄阳，与习郁一同梦见苏岭山神，便命建立神祠，立二石鹿于神道，此后便改称鹿门山，神祠便改称鹿门寺。
鹿门寺藏在幽林深处，寺后有巨岩，岩上有清泉，泉水从岩上飘洒而下，如夏日急雨，其声亦如暴雨，其下积水成池，故名暴雨池。掬而饮之，五内俱凉。而冬季袅袅有热汽升腾，饮之温润。寺后林中，有石径蜿蜒，可以登临极顶，俯瞰汉水远来，绕山麓而南入白云无尽处，其间城郭人家、沙渚烟树，宛如画册。从南麓下山，至汉水边乘船溯江而上，经凤林山、习家池、岘山，可达襄阳城，再上行，可达隆中。
当年孟浩然隐居时，就是循着这条水道往返于山林城郭之间，访问僧朋诗友。他的许多诗句可以在这里找到对应的实景实物。
