孔子祖先为春秋宋国人（其祖居地为今商丘市夏邑县城北六公里王公楼村，孔子的祖坟仍在此地）。公元前 680 年，宋国发生内乱，孔子曾祖孔防叔为避乱而奔鲁。孔子成人以后知晓夏邑王公楼村为自己的祖籍，时常回祖籍祭祖省亲。后人为纪念孔子还乡，在王公楼村大兴土木，建孔子还乡祠。孔子还乡祠始建于唐初，其形制仿文庙，坐北朝南，有一壁、一坛、两殿、四门及碑林等。宋真宗时，孔子四十五代孙孔良辅、孔彦辅由曲阜到此定居，对孔子还乡祠修复扩建。金代，又立杏坛碑于大成殿之前。清道光元年，增建崇圣祠。古时，每临科举，总有众多殷殷学子前来叩拜，以祈得到文曲保佑。