历史上主要有两个说法：东晋的“四大家族”和民国时期的“四大家族”，另外在小说《红楼梦》中也有“四大家族”。
1、东晋的“四大家族”指的是王、谢、桓、庾四大家族。
王家，代表人物是王导，他拥立司马睿建立东晋，官居宰辅，共辅佐了元帝、明帝、成帝三任帝王。王导是东晋王朝初期的实际缔造者和操纵者。其堂兄王敦都督江、扬六州军事，拥兵重镇。王氏家族曾先后出过8个皇后，与皇室公主联姻的有20多人。在整个六朝时代，山东琅邪王氏家族，为官做到五品以上的，有161人。其中，做到一品官的，达15人。
谢家，代表人物是谢安，带领军队在淝水之战中打败前秦，谢氏从此发迹。谢安的堂兄谢尚，弟弟谢万出仕后，家族才开始兴旺，到谢安任相时期达到顶峰。谢安让侄子谢玄组建北府兵，对东晋朝有着深远影响。六朝以后，民间多以“王谢”并称，该称呼成为中国古代世家大族的代名词。
桓氏，代表人物是桓温，桓氏一族发迹于桓温的父亲桓彝，晋元帝时受封安东将军，之后“累迁中书郎、尚书吏部郎，名显朝廷”。桓温是晋明帝的女婿，受到中书监何充的赏识，被封为荆州刺史、安西将军。桓温攻灭成汉，因此在朝中名声大振，后来升至大司马，长期执掌朝政大权。桓温的儿子桓玄，起兵反叛，逼迫晋安帝禅位，于公元404年建立桓楚政权，但桓楚政权被刘裕的北府军打败。
庾家，代表人物是庾亮，其妹庾文君为明帝司马绍妃，明帝驾崩后，庾太后临朝，庾亮与王导等辅政，但政事实际都由庾亮决断。庾亮与陶侃平定了苏峻之乱后，庾亮外出任平西将军、豫州刺史。陶侃逝世后，代其为征西将军，兼领江、荆、豫三州刺史、都督七州诸军事。庾亮死后，他的弟弟庾冰接任左将军，后进车骑将军的职务，庾冰的弟弟庾翼则把持东晋最重要的外镇官员荆州刺史一职。
2、民国时期的“四大家族”指的是蒋、宋、孔、陈四大家族。
蒋家，代表人物是蒋介石、蒋经国。控制中央银行以及多家公司。
宋家，代表人物是宋子文，成员还有宋霭龄、宋庆龄、宋美龄。控制中国银行以及多家公司。
孔家，代表人物是孔祥熙，成员还有其子孔令伟、孔令侃、孔令杰。控制交通银行以及多家公司。
陈家，代表人物陈果夫、陈立夫。控制中国农民银行以及多家公司。
但民国时期的蒋、宋、孔、陈四大家族的说法至今还存有争议。
3、《红楼梦》中的“四大家族”指的是贾、史、王、薛四大家族。
《红楼梦》“葫芦僧判葫芦案”中手下告诉贾雨村：“贾不假，白玉为堂金作马。阿房宫，三百里，住不下金陵一个史。东海缺少白玉床，龙王来请金陵王。丰年好大“雪”，珍珠如土金如铁。取其谐音，暗指贾、史、王、薛四大家族。
贾家，代表人物贾政，成员还有贾宝玉、贾元春、贾迎春、贾探春、贾惜春、贾珍、贾琏、贾赦等。
史家，代表人物贾母，史湘云。
王家，代表人物王熙凤，成员还有王夫人、薛姨妈等。
薛家，代表人物薛宝钗，成员还有薛蟠、薛宝琴、薛蝌等。
