Nhà thờ họ Lê tọa lạc tại thôn Hương Đại xã Đức Hương, là nơi thờ tướng quân Lê Khắc Phục, một vị danh tướng của Bình Định vương Lê Lợi trong cuộc khởi nghĩa Lam Sơn ở thế kỷ XV. Lê Khắc Phục có tên thật là Trịnh Khắc Phục quê gốc ở xã Thủy Chú – huyện Lôi Dương (nay là huyện Thọ Xuân – tỉnh Thanh Hóa). Theo gia phả ghi lại, Trịnh Khắc Phục là con trai của ông Trịnh Nhữ Lượng và bà Lê Thị Ngọc Biền (chị gái của vua Thái tổ Lê Lợi). Như vậy, theo dòng họ, Trịnh Khắc Phục gọi vua Lê Thái tổ (Lê Lợi) bằng cậu ruột. Khi Lê Lợi phất cờ khởi nghĩa chống lại ách đô hộ của giặc Minh, nhiều nhân sĩ, trí thức đã tìm về vùng đất Lam Sơn để tụ nghĩa và Trịnh Khắc Phục là một trong số những người có mặt sớm nhất.
Năm 1424, Trịnh Khắc Phục đã cùng nghĩa quân Lam Sơn tiến vào đất Nghệ An để mở rộng địa bàn của cuộc khởi nghĩa. Tại đây, ông đã kết duyên với bà Đường Thị Bội người xã Yên Duệ – tổng Thượng Bồng – huyện La Sơn (nay là xã Đức Hương – huyện Vũ Quang) và sinh ra Trịnh Như Sơn là vị tổ trực tiếp của dòng họ Lê (Trịnh) ở Đức Hương ngày nay.
Năm Thuận Thiên thứ nhất (1428), do có nhiều công lao trong việc giúp vua đánh giặc, Trịnh Khắc Phục đã được vua Lê Thái Tổ phong hàm Vinh lộc đại phu, chức Tả kim ngô vệ đại tướng quân, tước Thượng trí tự và được ban Quốc tính họ Lê (tức cho mang họ nhà vua). Ngoài công lớn trong việc giúp vua đánh đuổi giặc Minh giải phóng đất nước, Lê (Trịnh) Khắc Phục còn thể hiện được tài năng kiệt xuất của mình trên nhiều lĩnh vực khác như ngoại giao, tuyển chọn nhân tài, phát triển giao thông thủy lợi… Ngày 26 tháng 7 năm Tân Mùi (1451), Lê (Trịnh) Khắc Phục từ trần. Năm Quang Thuận thứ 8 (tức năm 1647), vua Lê Thánh Tông đã xuống chiếu cho những người được ban quốc tính trước đây được trở về họ cũ. Theo đó, ở nhiều nơi những người họ Lê gốc Trịnh đã quay về với họ gốc của mình. Tuy nhiên, riêng chi nhánh họ Lê gốc Trịnh ở Yên Duệ – La Sơn (nay là xã Đức Hương – huyện Vũ Quang) vẫn giữ nguyên họ Lê như hiện nay.
Vào khoảng đầu thế kỷ XVII, con cháu họ Lê tại làng Đò – xã Yên Duệ (nay là các xóm Hương Tân và Hương Đại – xã Đức Hương) đã xây dựng được nhà thờ để thờ tự cụ tổ Lê Khắc Phục. Theo lời kể, trước từ đường họ Lê dài tới 17 gian bao gồm cả Thượng điện, Trung điện và Hạ điện với rất nhiều đồ tế khí và những nét chạm trổ hết sức tinh xảo. Nhà thờ đã được các vị vua triều Nguyễn ban sắc phong. Lê Khắc Phục đã trở thành vị thành hoàng của cả tổng Thượng Bồng, bao bọc, che chở cho nhân dân.
Trong cuộc khởi nghĩa Hương Khê do Phan Đình Phùng lãnh đạo vào cuối thế kỷ XIX, Nhà thờ họ Lê là địa điểm hội họp của các thủ lĩnh nghĩa quân; trong phong trào xô viết Nghệ – Tĩnh (1930-1931) là nơi tổ chức các hoạt động của Nông hội đỏ, đồng thời là địa điểm tập kết nghe diễn thuyết của nhân dân hai xã Yên Duệ và Phương Duệ; trong cuộc kháng chiến chống Pháp, Nhà thờ họ Lê được Chi bộ Đảng Liên Hương sử dụng tổ chức các cuộc họp để hoạch định các chính sách của địa phương.
Với những giá trị về lịch sử, văn hóa và truyền thống cách mạng đó, năm 2008, Nhà thờ họ Lê đã được công nhận là di tích lịch sử – văn hóa cấp tỉnh.