明洪武二年(1369年)在今山西省地区和河北部分地区，置山西行中书省，简称山西省，因地处太行山以西，故名。山西省简称“晋”，因早在春秋时期，这里为晋国的领地。山西也被称为“三晋”，是因为在周威烈王二十三年(前403年)，赵、魏、韩三家瓜分晋国，并被册封为诸侯，境地分属三国。
而晋国最早的渊源可以追溯到典故“桐叶封弟”。据《吕氏春秋·览部》卷十八〈审应览·重言〉载：周代，叔虞为周成王的胞弟，据传叔虞与成王玩耍，成王把一桐叶剪成一个似玉珪的玩具，对叔虞说：我将拿着玉珪封你。周成王八年(前1035年)周公旦灭古唐国。周成王十年(前1033年)，为践行诺言，于是周成王把唐封给叔虞。唐在黄河、汾河的东边，方圆一百里。
叔虞受封以后，即以“唐”为国号，叔虞也被称作唐叔虞。叔虞的儿子燮父继位后，迁居晋水之旁，就把“唐”改称为“晋”。但晋国一直是个小国，直到春秋时期，晋文公重耳当政时，有赵衰、狐偃等辅政，晋国逐渐强大起来，晋文公也称霸北方。
