《神雕侠侣》剧中他被描述成庸庸碌碌、毫无作为之辈，面临十万计的蒙古大军来袭，他远不及江湖大侠郭靖、黄蓉尽心、尽力，襄阳战役的中流砥柱俨然是由江湖义军担当，甚至连蒙哥大汗都命丧“神雕大侠”杨过的飞石绝技。实际上自蒙将阿术1267年进攻襄阳起，襄阳城的统帅一直是吕文德、吕文焕兄弟，而且同元军周旋达六年之久，直到1273年吕文焕才力竭降元，吕文德更早在1269年就因病而卒。
真实的吕文德本是南宋晚期名将，他出身平民，1230年投身军旅，以抗击蒙古入侵起家。他转战江淮、湖北、四川各地抗蒙前线达30多年，多次击退蒙军，取得骄人战绩。尤其是在1259年，三月份他被任命为保康军节度使、四川制置副使兼知重庆府，四月又总领四川财赋，五月他在达州与蒙军激战，到六月吕文德所部经过奋战，数战皆克，攻断浮桥，打通了蜀道，进入重庆，理宗听说后非常高兴，御笔题曰：“吕文德身先士卒，攻断桥梁。蜀道已通，忱可嘉尚”。六月初，吕文德率战船千余艘，沿嘉陵江而上，增援钓鱼城，连败蒙军。蒙古蒙哥汗派史天泽迎战，史天泽将蒙军分为两翼，在嘉陵江两岸“跨江注射”，蒙古水军则“顺流纵击”，吕文德失利，退回重庆。宋军主力虽未进至合州，但对于合州保卫战德影响极大。宋理宗后来总结道：“况合州之围已解，亦其（指吕文德）应援之力” ，肯定了吕文德的战功。七月，蒙哥死在合州，四川战事告一段落。九月，蒙古忽必烈猛攻鄂州（今湖北武汉），他又从重庆赴援鄂州，击败蒙军拔都儿部，“乘夜入鄂城”，给予鄂州有力的支援，使得鄂州“守愈坚”。 闰十一月，忽必烈北撤，与阿里不哥争夺汗位，鄂州之围遂解。宋廷下诏说：“吕文德援蜀之赏未足酬功，令援鄂之勋尤为显著，特赐百万，良田万顷”，这一年吕文德达到了他戎马生涯的顶峰。
1260年忽必烈登基成为蒙古国大汗，但蒙古内部纷争不断，一时无暇南顾，数年间边境没有大的战事。而此时南宋窝里斗的好戏也已开锣，吕文德在这一过程中扮演着重要角色。当时刘整功勋很大，吕文德很妒忌他，每逢刘整出谋划策就置若罔闻，建立功勋也不予上报，又因俞兴与刘整有矛盾，吕文德让他做四川制置使来收拾刘整。刘整愈发感到不安，最后于1261年六月以泸州十五郡投降蒙古，四川局面大坏。 俞兴出兵进剿刘整，反被刘整所败，败报传来后，宋廷急派吕文德率军进攻泸州，其在1262年正月收复泸州，但他逼反刘整却给南宋带来了不可估量的损失。除此之外，吕文德还阿附权相贾似道，比如载1259年鄂州之役时，作为节制诸路军马的统帅贾似道措置乖戾，无法赢得诸部的尊重，更无法协调诸部的关系，因此高达、曹世雄等将领都与贾似道有矛盾，唯独吕文德献谄贾似道。 贾似道拜相以后，两人交往更甚，1264年宋理宗驾崩时，贾似道为得到新皇宋度宗的信任，一方面在理宗下葬后假意辞官，另一方面指使吕文德谎报军情，使度宗急召贾似道，借机巩固自己的权势。正因为权相贾似道的扶持，吕文德及其家族的军事集团得以存续多年，吕文德曾在度宗年间举荐96人入朝，许多都是他的亲朋。
从1260年（景定元年）到1269年（咸淳五年），吕文德一直担任京湖制置使，率军驻防京湖边境，并修筑多个城池，加强京湖一线的防务。晚年的他犯下两个严重的战略错误，一是1263年同意蒙古人在襄阳城外设立交易市场，蒙古人借机筑土墙于鹿门山（今湖北襄阳东南），外通“互市”，内筑堡壁，以阻宋南、北之援军；二是1268年蒙军围困襄阳，其弟吕文焕负责守城，吕文焕派人向吕文德报告蒙军修筑鹿门、白河等寨，襄樊被大举围困时，吕文德却不以为然，反而斥责吕文焕道：“汝妄言邀功。设有之，亦假城耳。襄、樊城池坚深，兵储支十年，令吕六（即吕文焕）坚守。果（刘）整妄作，春水下，吾往取之，比至恐遁去耳！”，这种轻敌的思想加剧了南宋守护襄樊的困难，因此“识者窃笑之”。
由于吕文德晚年犯的错误给国家带来严重后果，所以他一直感到愧疚，以至于在同年十二月因疽发背而病卒，谥号“武忠”。 1275年十二月，南宋朝廷追封吕文德为“和义郡王”，后来吕文德的家族除吕文信外集体投降蒙古。
