李衡，字彥平，是江都人。他的高祖李昭素曾官至侍御史。李衡自幼擅長背誦詩文，提筆就能成文。他后來考中進士，擔任吳江主簿。當時有一個部使者仗勢欺人，侵害百姓，李衡不忍用棍棒對待百姓來迎合，便呈上引罪自責的辭呈，拂袖回家。后來，他擔任溧陽縣縣令，一心用誠意教化百姓，百姓無不尊敬他。夏秋兩季的賦稅，只是把上繳期限公布于縣衙門前，鄉村中不見官吏催繳賦稅的蹤跡，但百姓卻爭先恐后地繳稅，比其他縣完成得更快。因此，他任職四年，獄中從未關押過重罪犯。隆興二年，金兵進犯淮堧，人們紛紛驚恐。沿江官員大多將妻兒送走，而李衡獨自將家從浙東遷至溧陽，百姓人心安定。其他縣盜賊四起，而溧陽仍平安如舊。元帥汪澈、轉運使韓元吉等人將李衡列為治理上等上報，皇帝下詔加官一等。不久，他被召入朝任監察御史。歷任司封郎中、樞密院檢詳，出朝擔任溫、婺、臺三州知州，僅婺州親自到任。加官秘閣，但他因年老請求退休，懇切請求不止，皇上多次退回他的奏章，最終授予他秘閣修撰的官職讓他退休。皇上想到他為人淳樸忠厚，不久又征召他任官，任命他為侍御史，他以年老為由堅決推辭，但未能得到皇上的恩準。命他與其他官員共同主持選舉。當時，外戚張說以節度使身份掌握兵權，李衡極力上疏彈劾，說“不應因他是母后親人就任以高官”。在朝堂上力爭了好一段時間。改官任起居郎，李衡說：“與其任官而有負于國君，不如辭官而合于道義。”他五次呈上奏章，越發極力以年老請求退休，皇上知道改變不了他的決定，仍然讓他以秘閣修撰的身份退休。當時給事中莫濟不寫敕文，翰林周必大不起草制誥，右正言王希呂也和李衡相繼上奏，同時離開朝廷，士人作《四賢詩》來記述這件事。李衡后來定居昆山，建茅草別墅，拄著拐杖，穿著麻鞋，安閑自在，左右只有二個奴仆，聚書超過萬卷，自號叫“樂庵”。他去世時，享年七十九歲。