实际上，在成吉思汗死后，只有他的直系后裔，即术赤、察合台、窝阔台、拖雷四人的后代才被称为“黄金家族”，才有资格继承各汗国的汗位。拖雷之子蒙哥夺得蒙古大汗之位后，这个范围又进一步缩小为拖雷的后代，其后的元朝皇帝和明朝时的鞑靼可汗（如达延汗）均出自这一系。

乞颜部孛端察尔子孙孛儿只斤氏·也速该巴特尔，是成吉思汗的父亲。孛端察尔是成吉思汗的上十多代先祖。孛端察尔在兄弟的帮助下俘获了札儿兀惕部落的一名女俘札儿赤兀惕·阿当罕·兀良合真氏，从此建立起自己的家庭，有了自己的马群、家赀、隶民、奴婢等。出自孛端察尔的诸氏族部落，因各有名号，概被称为“伲幄伦”。 到屯必乃的儿子合布勒汗时，才复用古老的乞颜部称号，其子孙被称为黄金家族。发展到合布勒汗的孙子也速该巴特尔时，起用孛儿只斤氏，是蒙古部的古老姓氏，孛儿只斤氏后裔皆尊孛端察尔为孛儿只斤氏得姓始祖。

蒙古族有一个始祖母阿兰，据记载阿兰与丈夫生了两个儿子，在丈夫死后又生了三个儿子。阿兰说三个小儿子是她与一个金黄色天神的后代，是上天的儿子。从此之后，这三个儿子的后人就被称为纯洁出身的蒙古人。成吉思汗就属于其中的一支孛儿只斤氏，除此之外，还有主儿乞氏、泰赤乌氏等。蒙古部的可汗都出于这个家族，所以被称为“黄金家族”。