二贤祠，为纪念宋代大儒朱熹和张拭而建。南宋乾道三年(1167年)，朱熹来长沙，与岳麓书院山长张拭会讲二月，盛况空前，史称“朱张会讲”。是年冬月，朱熹携弟子林用中，同张试动身破冰敲雪前往南岳衡山，夜宿方广寺，一路吟诗唱和得诗149首，辑为《南岳侣酬集》。

明嘉靖十八年(1539年)，进士尹台建二贤祠以纪念朱张，请方广寺僧人看管。新祠落成，寺僧派徒弟前往南京找尹台写祠记未遇，二十年后，当年的小和尚千里风尘再往南京，已居礼部尚书高位的尹台，欣然提笔作《南岳二贤祠记》，王夫之等于清初重修祠宇，清道光十一年(1831)，尹台后商尹甘泉来游，又捐资重修。

大门两边石刻对联“名山胜迹，往哲流风”书者为文岳英(1805-1871)，清衡山县人，道光丁酉(1837) 举人，题写于同治五年(1866)， 2013年，南岳区人民政府按原样重修，增塑朱张二贤铜像，刻巨型砖雕壁画，辟东西两间晨厅，由方广寺襄助而成。