开皇八年(588年),隋文帝任命晋王杨广为元帅,率军南伐陈国,裴世矩则任元帅府记室。

隋军攻破丹阳后,杨广命裴世矩与高颎一同收集陈国的地图、户籍。

开皇十年(590年),裴世矩奉诏巡抚岭南地区。他尚未启程,高智慧、汪文进便在江南作乱,使得吴越一带道路难以通行。

裴世矩行至南康,聚集士卒数千人。这时,俚帅王仲宣进逼广州,又命部将周师举围困东衡州。

裴世矩与大将军鹿愿解东衡州之围,先后在大庾岭、原长岭击破叛军,斩杀周师举,一直打到南海。

王仲宣大惊,溃散而回。

后来,裴世矩安抚岭南二十余州,并承制任命州中渠帅为刺史、县令。

裴世矩回朝后,隋文帝在大殿慰劳,并对高颎、杨素道:“裴世矩率三千敝卒,一直打到南康,有这样的臣子,还有什么忧虑的呢!”

裴世矩因此被授为开府,赐爵闻喜县公,并担任民部侍郎,不久又改任内史侍郎。

后来,突厥强盛,而都蓝可汗之妻大义公主又是北周宗室女,因此常入侵边境。