等杨广继位后,西域诸国纷纷前往张掖,同中原往来通商,裴世矩奉命监管互市。

他知道杨广有吞并西域的打算,便查访西域的风俗、山川等情况,撰写《西域图记》三篇,回朝奏明朝廷。

杨广大喜,每日都向他询问西域情况。裴世矩盛赞西域珍宝,又提议吞并吐谷浑。

所以杨广遂命裴世矩经略西域,又拜他为民部尚书。

不久,裴世矩升任黄门侍郎、参预朝政,并前往张掖,引导西域蕃邦入京朝贡。

杨广祭祀恒山时,西域有十几个国家遣使助祭。

大业四年,裴世矩游说铁勒,让他们出兵攻打吐谷浑。

吐谷浑大败,可汗伏允向隋朝遣使请降,并求取救兵。

杨广命杨雄、宇文述率军迎接。伏允畏惧隋军,不敢投降,率部西迁。

宇文述攻入吐谷浑境内,夺取曼头、赤水二城,掠夺大量人口。