Trước năm 1895, chủ nhân của khu nhà là công chúa con vua Dục Đức. Người chủ tiếp theo là ông Phạm Đăng Khanh, cháu của đại thần Phạm Đăng Hưng, thời vua Gia Long. Năm 1920, nhà được bà Khâm Điệp tiếp quản. Năm 1936, đây là phủ đệ của Tuần Vũ Nguyễn Đình Chi, Tuần phủ Hà Tĩnh. Sau ngày ông Nguyễn Đình Chi mất, vợ ông là bà Đào Thị Xuân Yến (từng là Hiệu trưởng của trường Đồng Khánh xưa) tiếp tục quản lý khu nhà vườn. Năm 1997, bà Xuân Yến qua đời, An Hiên thuộc quyền thừa kế của người con dâu Phan Thị Hoàng Oanh và bốn người cháu nội.
Cổng lớn dẫn vào nhà có hàng chè tàu được cắt tỉa gọn gàng tạo ra vòm cây xanh mát.
Phần mái ngôi nhà 3 gian 2 chái được lợp bằng ngói liệt, hai bên đắp rồng chầu, ở giữa đỉnh
mái có hình hoa sen. Cột kèo trong nhà làm từ gỗ lim, mít... có khả năng chống mối mọt và
có tuổi thọ cao.
Trước mặt nhà có bức bình phong được người dân tin rằng sẽ ngăn chặn những điều không tốt
lành vào trong nhà.
Ao sen hay bể cạn phía trước nhà đại diện cho yếu tố thủy trong kiến trúc nhà vườn xưa. Bao
quanh nhà là vườn cây với đủ loại hoa trái bốn mùa.
Gian chính giữa là nơi được dùng để thờ phụng theo nguyên tắc "tiền Phật hậu linh" (phía ngoài
thờ Phật,phía trong thờ tổ tiên). Gian bên phải dành cho phận nữ nhi (theo lối phong kiến ngày
xưa). Gian bên trái dùng để tiếp khách nam được bố trí bàn ghế và trà nước.
Rường là cách nói ngắn gọn của rường cột. Nhà rường có hệ thống cột kèo gỗ được dựng lên
theo những quy tắc nhất định.
Nhà rường là một chỉnh thể thống nhất liên kết bởi các vì kèo, tạo nên bộ khung
nhà vững chắc. Dù lớn đến đâu, nhà rường cũng được kết cấu hoàn toàn bằng
chốt, mộng gỗ để có thể lắp ráp và tháo dỡ dễ dàng.
Ở nhà vườn An Hiên, đồ dùng cá nhân xưa của người phụ nữ vẫn còn nguyên vẹn.
Nhiều hoành phi, câu đối được treo trong nhà với triết lý sâu xa.
Những hoa văn, họa tiết được chạm trổ tinh xảo bao quanh cột chính, hệ thống vì kèo của
ngôi nhà.
