根據(jù)現(xiàn)有資料查證，回族徙居山西的原因很多，時(shí)間不一?；孛褡钤邕M(jìn)入山西是在13世紀(jì)初。當(dāng)時(shí)隨著蒙古軍西征，大批中西亞人東遷。元朝統(tǒng)一中國(guó)后，這些些隨軍東遷的色目人在各地屯田定居。大同市一帶最早的回族先民即源于此。現(xiàn)在可考的右玉縣麻姓回民，徙居右玉已歷29代，曾五易墓地，約計(jì)700余年。到了明代，麻姓已是大同一帶的望族。 

    元末明初，由于軍事征戰(zhàn)、調(diào)遣、移民和經(jīng)商等原因，各地回回的大量遷入，是山西回族的形成時(shí)期。據(jù)古建筑專家鑒定，規(guī)模較大的太原清真古寺的殿堂建于元明交替之際，這證明太原的回民在元末明初時(shí)已為數(shù)不少。洪武年，朱元璋分封諸王，屏藩王室。據(jù)《明史》載：“沈藩二十六王，皆居潞”。潞即今長(zhǎng)治市。明永樂(lè)六年（公元1408年）沈簡(jiǎn)王朱模封至長(zhǎng)治，在起移駕潞州的侍衛(wèi)人員中就有百余名回族人，多數(shù)為南京水西門的馬、程兩姓，其中有軍士、手工業(yè)者和商人，定居在今長(zhǎng)治皇城周圍的銅鍋、南頭、營(yíng)口，即三道營(yíng)一帶。雁北地區(qū)右玉縣的甄姓回族原系明京都的回回，在右玉已歷19代人，約500年。在甄姓回族開(kāi)設(shè)的王盛園飯館招牌上，曾標(biāo)有“京都回回”字樣。到清代后期，甄姓回族是右玉首富之家。 

    明永樂(lè)年間實(shí)行移民政策，在山西省洪洞縣設(shè)有移民站，是移民集散地。太原回回中的十大姓，即朵、羅、田、梁、李、金、薩、海、島、邸，大部分是這次移民來(lái)的。其中金姓、梁姓來(lái)自南京。這期間，也有一些人入晉經(jīng)商留居的回民，如太原的楊、丁、馬姓，是從陜甘寧入晉經(jīng)商而定居下來(lái)的，田姓則是有山東經(jīng)商輾轉(zhuǎn)內(nèi)蒙古呼和浩特后到太原落戶的。 

    明末清初以后，因戰(zhàn)亂、逃荒、經(jīng)商等原因、由陜西、河南、寧夏、河北、山東等第遷居山西的回族留居于山西晉城、運(yùn)城一帶。如絳縣回族是明崇禎五年（公元1632年）定居的。順治六年，回族被內(nèi)徙遷調(diào)?，F(xiàn)可考的有右玉縣馬姓回族，系從山東遷入的，據(jù)其家譜記載，到右玉縣已歷13代，約300余年。大同縣馬家會(huì)村回民也是同期由河北宣化府遷入的。清道光二十年，河南懷慶府一部分回族遷入晉城城關(guān)。同治初年，西北回族群眾抗清起義失敗后，有兩批到晉城定居下來(lái)，約100余戶，500多人口。運(yùn)城地區(qū)的垣曲、新絳、合津等縣回族多數(shù)是清代從河南遷入的。自1907年正太鐵路通車后，河北石家莊、保定地區(qū)有眾多回族陸續(xù)到太原和晉中地區(qū)謀生并定居。 

    解放后，隨著干部職工的工作調(diào)動(dòng)和民間婚嫁，也有一些回民從河北、北京、內(nèi)蒙古、河南等地遷居山西。