吳贛伯原籍江西南昌。早年畢業於上海音樂學院民族音樂系，先後從師周皓、陸修棠、陳俊英、楊雨森等教授及民間音樂家孫文明先生學習二胡演奏，並隨胡登跳、夏野及葉棟等教授學習中國基本樂理。吳氏在上海音樂學院畢業後，先後任職東方歌舞團與中央民族樂團。一九八一年，吳氏移居香港。先後在香港中文大學與香港影藝學院任教，作為發起人之一創建香港民族音樂學會。一九九一年，吳氏獲香港大學亞洲研究中心榮譽研究院士榮稱，並為該中心中國音樂研究室成員。