丁零在南北朝時期（公元420－589年）被稱為「鐵勒」、「敕勒」或「高車」。當時鐵勒各部在今土拉河（今蒙古國境內）以北，西至西亞里海的廣大地區上，過着逐水草而遷徙的游牧生活。鐵勒的主要部分則集中在土拉河和鄂爾渾河（今蒙古國境內）流域活動。鐵勒有許多部落，大的有僕固、同羅、韋紇、拔野古、思結、渾、斛薛等。其中，韋紇（即《魏書‧高車傳》中的袁紇）就是唐代的回紇。
六世紀中葉，包括回紇在內的鐵勒諸部，受強大的突厥汗國統治。回紇人能騎善射，作戰勇猛，突厥汗國利用他們的人力和物力來雄據大漠南北。公元583年，突厥汗國分裂，鐵勒諸部便分隸於東、西突厥。七世紀初，西突厥的處羅可汗對鐵勒諸部實行殘暴統治。公元605年，處羅可汗率兵突襲鐵勒各部，掠取馬、羊等財產。事後，處羅可汗恐怕鐵勒各部怨恨，竟以議事為名，召集各部首領百餘人，並將他們全部殺害。於是，西突厥統治的鐵勒諸部如契苾部、薛延陀部，以及東突厥治下的回紇部等，都起而反抗。回紇的首領時健俟斤在這次反抗中，被東面的鐵勒各部推舉為君長。
唐朝政府為了對付北方大敵突厥，於是聯絡從阿爾泰山（位於今新疆維吾爾自治區北部與蒙古國西部交界地區）西南山腳遷回漠北的薛延陀部，以及回紇等部一同對抗東突厥。公元627年，東突厥以10萬大軍進攻回紇，竟被回紇首領菩薩率領的5,000兵馬所敗。公元629年，唐太宗命大將李靖、李績率大軍北征，配合薛延陀、回紇等部夾擊東突厥。次年，東突厥滅亡，回紇與薛延陀等鐵勒諸部便擺脫了東突厥的控制。