三孝祠的起源與徐仲源緊密相連。相傳在唐代德宗年間，徐仲源曾任合肥令。他的父親徐升翁從宣城調任望江縣令，因此定居望江。徐仲源是太慈鎮六九甲徐氏的鼻祖，也是縣志中首次記錄歷任縣令姓名的人。他以孝順聞名，其孝行故事在民間廣為流傳。在德宗貞元年間，徐仲源的母親李氏左眼紅腫流淚，疼痛難忍，諸多名醫無效，左眼最終失明。右眼也出現相同癥狀，他聽聞用兒子肉湯或許能治病，便割肉燉湯給母親食用，母親的眼病因此痊愈。他母親畏懼雷聲，每次雷雨天，他都會緊貼母親身邊，保護她不受驚嚇。母親去世后，他常在雷雨天前往母親墓地，后來雷聲常繞過墓地。縣令麴信氏得知他的孝行，上奏朝廷。德宗皇帝感動，封他住宅所在地為昭賢里，所在鄉為孝感鄉，并表彰他的孝德。徐仲源死后，后人將他安葬在母親墓旁。野獸堆土，鳥兒銜花，以紀念他。后來，他的第五代孫因避戰亂遷至江西。數百年后，徐天龍、徐騰龍兄弟從江西回望江，徐石宕建立三孝祠，紀念徐仲源和其他兩位孝子。望江縣城始建于明代萬歷年間，北門稱孝感門，對著徐仲源故居和墓地。三孝祠建成后，許多名人紛紛題詩紀念。但由于年代久遠，碑碣已不存在。三孝祠原有前后兩進，兩側廂房，后墻和外墻間有套間，東北角有廚房，和小高丘上的水竹。然而，歲月流轉，這些建筑都已不存。盡管如此，徐仲源割股、王祥臥冰、孟宗哭竹的故事仍流傳至今，成為望江的千古佳話。