岳陽是個宗教寺廟較多的城市。宋時，府城南面有白鶴山，上有白鶴寺。有次，八仙之一的呂洞賓來到白鶴寺，因酒醉在寺旁的老松樹下休息。這老松樹乃千年樹精，見呂洞賓到此，便化成老者，向呂洞賓作揖說：“我并不是山精樹怪，今天能遇見先生，這是先生看得起我。”呂洞賓給了他一粒仙丹后，在旁邊的墻壁上題詩一首：“獨自行來獨自坐，無限世人不識我，惟有城南老樹精，分明知道神仙過。”后來岳州知府乃命人在呂洞賓歇息處筑一亭，名“過仙亭”，后改名“呂仙亭”，以祭祀?yún)味促e。

呂仙亭位于白鶴山巔，又名白鶴寺，建于唐代。白鶴寺占地面積100多畝，建有八仙殿、娘娘廟、后土廟、觀音殿、靈官殿、呂仙亭等殿堂廟宇，形成了一片古建筑群，氣勢壯觀。山上古樹森森，濃蔭遮天，鳥啁嬋鳴，環(huán)境幽靜，為當時岳州八大景觀之一。其西為洞庭湖，云水一片；南為南津港，東南為南湖。水入山盡，山映湖中，十余里盡皆湖水，故山水之勝，亭兼得之。站在山上，眺城廓，望洞庭，收覽湖山之趣，幾可與岳陽樓爭勝。故邑人吳敏樹曰：“凡岳陽樓所見無弗同者。”是當時城內(nèi)除岳陽樓外最佳的游覽觀景之處。只可惜今南湖水面銳減，亭前建筑增多，高低參差不齊，風光不勝以前。又可惜“文革”狂風暴雨，亭被拆毀，千年古亭毀于一旦。2001年，寺廟土地部分得以歸還，寺廟重建工作開始進行，重修后的呂仙亭（觀）為道教廟觀。其他建筑計劃占地80多畝，現(xiàn)已重修了三清殿等部分建筑。

呂仙亭街也是當今岳陽眾多老街巷中惟一保存較為完整的老街，自三角線橋至先鋒路口，多為低矮的民房，少有高樓大廈。有些房屋還保留民國時期的建筑風貌，青磚黑瓦，木結構板壁，雕梁畫棟，古色古香。只是現(xiàn)已破爛不堪，亟須修復。這些建筑大都為民國時期所建，部分是解放后所建，真正清末民初時期的則已不多見了。