留在河西地區的月氏人有一部分逃入祁連山，與當地的羌族雜處，后來被稱為“小月氏”。漢武帝擊匈奴時歸附漢朝，與今青海湟水兩岸和甘肅張掖一帶漢人共處，從而有湟中月氏胡、義從胡等名稱?！付鼗臀饔蛑仙街?，從婼羌西至蔥領數千里，有月氏馀種蔥茈羌、白馬羌、黃牛羌，各有酋豪，北與諸國接，不知其道里廣狹。傳聞黃牛羌各有種類，孕身六月生，南與白馬羌鄰?！節h武帝元狩二年(公元前121年)漢將霍去病擊敗匈奴，獲取河西地，開通湟中(今青海湟水兩岸)，一支小月氏歸附漢朝，移居于張掖一帶，號為“義從胡”。

小月氏遷居祁連山以南﹐長期與青海羌人(見羌)雜居﹐又稱湟中月氏胡。漢代開發河西﹑湟中地區﹐小月氏又向東北遷徙﹐游牧于湟中﹑令居(今甘肅永登)一帶。在這里他們有17個部落﹐勝兵9000余人；在張掖一帶﹐也有幾百戶﹐被稱為義從胡。河西及金城(今甘肅蘭州)一帶諸守將部下﹐多有小月氏士兵。久之﹐小月氏蓋已融入羌人之中。 

他們被漢人叫做羌虜，在那里生活了很久，直至東漢末靈帝中平元年(184年)還見于史冊。居住在匈奴人中間的月氏人，漸漸地與匈奴本族融入，被稱為匈奴別部盧水胡。其中沮渠家族推后涼漢官段業為主，在現甘肅地區建立北涼。后沮渠蒙遜殺段業，自立為北涼主。后被鮮卑人拓跋氏北魏所滅。 據《魏書·西域傳》載：“小月氏國,都富樓沙城。其王本大月氏王寄多羅子也。寄多羅為匈奴所逐,西徙后令其子守此城,因號小月氏焉?！绷碛邪突固沟男≡率蠂?。