司马炎代魏建立西晋后，认为魏之灭亡，是由于无宗室以为藩辅之故，就采取落后的政治制度，恢复了封王和封公、侯、伯、子、男五等爵之制，共封同姓王57国，公、侯、伯、子、男五百余国，很快导致了“八王之乱”和各族人民大起义。所以，西晋政权为时很短。
西晋初年，朔州北部为鲜卑族领地，南部为雁门郡。郡治仍在广武，其属县有：广武、崞、汪陶、平城(代县东)、人(繁代堡)、繁畤、原平、马邑。
西晋末年，刘琨出任并州刺史入据晋阳后，其西、南有刘渊汉国，东有石勒，北有拓跋鲜卑，面对四境强敌虎视而力不足以抗击的险恶形势，刘琨为摆脱困境，采取了联结拓跋、集中对付刘渊的战略方针。永嘉四年(310)，晋怀帝封拓跋猗卢为“大单于”，以代郡封其为“代公”，猗卢以“封邑去国悬远，民不相接”为由，迫使晋室将当时雁门郡所辖陉岭(句注山或雁门山)以北的楼烦、马邑、阴馆、繁畤、崞等五县居民徙到雁门关以南，雁门关以北之地划归拓跋部。猗卢“乃徙十万家以充之”，故迁来这里的鲜卑族约50万人。
猗卢进驻马邑后，于永嘉六年(312)在黄瓜堆筑新平城。晋人称为小平城，派长子六修镇守。《魏书》载：拓跋猗卢六年“城盛乐以为北都，修故平城以为南都。帝登平城西山，观望地势，乃更南百里，于水之阳，黄瓜堆筑新平城，晋人谓之小平城，使长子六修镇之，统领南部。”关于新平城或小平城问题，北魏地理学名著《水经注》提及日没(山阴永静城，又名黄昏城，黄花城)、日中(怀仁日中城)、早起(亦曰食时城，怀仁安宿疃村东)三城。此三城互相比邻，距离相当。其中日中城最大，且有皇城，日没、早起两城相对较小，应是日中城的犄城，而日中城亦确在“水之阳黄瓜堆”，它与平城西山之距离仅百里之遥。考古证实猗卢的新平城确是日中城，确是在汉剧阳城的基址上扩建的。不久猗卢又被晋封为“代王”，在此建立了一个强大的代国政权，拓跋部由此逐步发迹起来。