據傳，黃帝的第二十五子之一有個叫祁的，堯姓伊祁，杜氏出自祁姓，是帝堯的后代。遠古的時候，人們以封地之名稱堯為陶唐氏。陶唐氏的后裔曾建國于劉。當時夏后氏的六世孫孔甲為夏王，他好方鬼神。傳說天降雌、雄二龍，孔甲不會養，陶唐氏的裔孫劉累就向豢龍氏學擾龍。豢龍氏畜龍以事帝舜，因而被賜姓。而劉累因為學擾龍而事孔甲，也被賜姓為御龍氏。到西周時，劉累的后代建唐國，人稱唐杜氏。后周成王把唐國滅了，把自己的弟弟虞封在唐，而把唐國國君遷到杜，稱為杜伯。周宣王時，杜國又被滅，作為周大夫的杜伯也無罪而被殺害。杜伯的子孫大多投奔其他諸侯，而那些留在杜城的就用杜作為姓氏了。

　　還有學者認為，杜氏子孫是上古杜康之后。相傳杜康是上古黃帝時期的人，善于造酒。如果杜康是杜姓始祖，那么這個姓至少也有四五千的歷史了。

　　另外，后魏時代北人獨孤渾氏有的也改為杜氏。