關于巴瑤族的起源，相傳很久以前馬來西亞柔佛州的公主在一次洪災中被沖走，她的父親沉浸在喪女的悲痛之中，便派遣部下出海尋找，并下令他們找到公主后才能返回，但是這些奉命尋找公主的人因無法找到公主只能留在海邊，有家不能歸，成了巴瑤族的祖先。他們被時間遺忘，一代又一代，慢慢適應了海洋環境，被認為是最后一支海洋游牧民族。

他們住在用木樁高架于淺海的茅草屋中，以捕魚為生，生活環境極其惡劣，被稱作海上吉普賽。這些巴瑤人沒有國藉，沒有身份，沒有學校，沒有醫院，他們過著貧困的海上飄泊生活。早些時候的巴瑤族人以船為家，后來多數族人居住在沿海海岸或在淺礁石上，潛水處，用幾根木樁支撐起高腳屋。

巴瑤人和大自然和平共處已經有好幾百年了，他們一直延續著祖先遺留的傳統生活方式，在尚未學會走路之前就開始學習游泳，依賴這片熱帶大海賜予的恩典而生。巴瑤人都以海為家，只有大海才可以讓他們自由地游弋，如今越來越多的巴瑤族人在仙本那附近的小島定居下來，憑借過硬的生存本領，他們挖井取水，用樹干搭房，在海上捕魚。