西递村建房多用黑色大理石，两条清泉穿村而过，99条高墙深巷，各具特色的古民居，使游客如置身迷宫。村头有座明万历六年(公元1578)建的三间四柱五楼的青石牌坊，峥嵘巍峨，结构精巧，是胡氏家族地位显赫的象征。

村中有座康熙年间建造的“履福堂”，陈设典雅，充满书香气息，厅堂题为“书诗经世文章，孝悌传为报本”、“读书好营商好效好便好，创业难守成难知难不难”的对联，显示了儒学向建筑的渗透。村中另一古宅为“大夫第”，建于清康熙三十年(公元1691年)。“大夫第”为临街亭阁式建筑，原用于观景，楼额悬有“桃花源里人家。”六个大字”有趣的是，近人多将此楼当作古装戏中小姐择婿“热抛绣球”所在，现已成为西递村举办此项民俗活动的场所。“大夫第”门额下还有“作退一步想”的题字，语意双关，耐人寻味。