Historia miejscowości sięga XIV (a według niektórych źródeł nawet XIII) wieku, gdy region Pienin, leżący skądinąd na drodze jednego ze starych szlaków prowadzących z północy, od Bałtyku, na południe Europy, do Włoch, znalazł się, z nadania królewskiego, w posiadaniu zakonu Klarysek ze Starego Sącza. Z akt Kurii Biskupiej w Krakowie wynika, że już w 1327 roku została w Sromowcach erygowana parafia pod wezwaniem św. Stanisława; wiadomo też, że kilka lat poźniej Sromowce podzieliły się na dwie części (obecne Sromowce Wyżne i Niżne). W połowie XIV wieku - za panowania Kazimierza Wielkiego - region stał się ponownie własnością królewską, a później, na początku XV wieku, stał się zastawem zabezpieczającym zaciągnięty przez króla dług, podlegając odtąd starostwu w Czorsztynie.
Tradycyjnym zajęciem mieszkańców Sromowiec Wyżnych było rolnictwo i flisactwo; ostatnio - zwłaszcza po powstaniu Jeziora (Zalewu) Czorsztyńskiego oraz wyciągu narciarskiego na pobliskim stoku - obserwuje się wzrost liczby turystów, korzystających ze sromowieckich gospodarstw agroturystycznych.
Długość trasy spływu ze Sromowiec Wyżnych do Szczawnicy wynosi 18 km; płynie się (średnio) 2 godziny i 15 minut (czas zależy od stanu wodu na Dunajcu). Do Krościenka - 23 km (ok. pół godziny dłużej). Najatrakcyjniejszy odcinek trasy - to 8-kilometrowy przełom Dunajca między Sromowcami Niżnymi a Szczawnicą, gdzie nurt jest wartki, rzeka tworzy liczne ciasne zakola, a wapienne ściany skalne na obu brzegach sięgają 300 m wysokości; zaraz za Sromowcami Niżnymi mija się po lewej stronie doskonale widoczny masyw Trzech Koron (982 m n.p.m.), najbardziej znany i najwyższy szczyt Pienin Właściwych szcyt, a po prawej (słowackiej) stronie - tzw. Czerwony Klasztor (Červený Kláštor) , dawny klasztor kartuzów i kamedułów z XIV wieku, z niewielkim muzeum.
Pierwsze spływy przełomem Dunajca organizował sporadycznie już w pierwszej połowie XIX wieku Józef Szalay, ówczesny właściciel Szczawnicy, twórca szczawnickiego uzdrowiska, jeden z pionierów turystyki pienińskiej - spływy odbywały się sporadycznie, a flisackimi łodziami były tzw. dłubanki, drążaone z pnia topoli, łączone najpierw parami, potem po trzy i cztery. Dzisiaj tratwy składają się z pięciu połączonych łodzi zbijanych z desek, zabierają 10 osób (lub 8 osób dorosłych i czworo dzieci), prowadzone są każda przez dwóch flisaków - i obsługują rocznie, jak się szacuje, ponad 100 tysięcy osób, w tym wielu turystów zagranicznych.