邺侯书院建于唐元和至长庆年间，始称南岳书院。宋宝庆年间，书院迁建集贤峰下，更名邺侯书院。元代，书院遭破坏。清乾隆九年，衡山知县德贵在烟霞峰下李泌隐居故宅的旧址上建义学，仍称邺侯书院。清光绪十六年邑人陈治与集贤书院山长戴心葵等移建邺侯书院于今址，为省级文物保护单位。

　　李泌（722—789年），字长源。祖籍辽东郡襄平县（今辽宁辽阳），生于京兆府（今陕西西安）。历仕唐玄宗、肃宗、代宗、德宗四朝，官至宰相，封邺县侯，世称“李邺侯”，誉为“神仙宰相”。李泌经历了“四隐四起” 的起伏人生。德宗贞元三年(787年)，李泌率军平定淮西叛乱后，六月入朝，任中书侍郎同平章事，正式拜相。贞元五年（789年）病逝，享年六十八，追赠太子太傅。康熙六十一年(1722年)，与历代功臣四十人从祀历代帝王庙。

　　以廉废私

　　唐德宗时，当时各地方镇私自向皇帝献财，每年五十万缗，其后减少到三十万。德宗以用度匮乏为题询问李泌的意见。李泌说：“天下的供钱每年有百万拿给宫中，陛下应该劝勉方镇不要私下贡献。但凡朝廷需要财物，便令他们代缴两税，这样方镇可以法行事，财政也就宽裕了。”自此方镇私下贡献之风被杜绝，政治更加清明。

　　绝粒无家

　　“君子食无求饱，居无求安。”“不义富且贵，于我如浮云。”神仙宰相李泌处之庙堂，隐之名山，皆以苍生社稷为重，舍小家为天下之大家，始终不贪官、不贪名、不贪钱、不贪色、不贪口腹之欲，真正做到了“绝粒无家”。

　　据《新唐书》记载，唐德宗要授予李泌集贤殿、崇文馆大学士的头衔，他只肯接受“学士”头衔，坚决要求去掉“大”字。又据《资治通鉴》记载，社稷危难之时，李泌挺身而出，待叛乱平定，京师收复后，他拒绝肃宗挽留，来到衡山烟霞峰下隐居，粗茶淡饭，着隐士服，过着普通僧人道士的日子。 

　　“绝粒无家”是李泌终生清廉淡泊的真实写照，对后世产生了重大而深远的影响。