Najcenniejszym zabytkiem potwierdzającym wielowiekową historię Jeleśni jest Stara Karczma. Jest to jedna z ostatnich oryginalnych karczm w tej części Europy, należąca do najstarszego typu karczmy polskiej o konstrukcji zrębowej oraz cennych walorach historycznych i kulturowych. Data wybudowania karczmy z drzewa modrzewiowego jest trudna do ustalenia. Pewne jest, że w 1608 roku Mikołaj Komorowski założył w Jeleśni folwark, a w niedługim czasie wybudowano okazałą karczmę pańską, która przetrwała do naszych czasów. Z inwentarza dóbr żywieckich z 1712 roku wynika, że karczmarzem w karczmie był Szymon Pietrzyca. W czasach zaboru austriackiego od 1809 roku karczma była własnością Habsburgów. Około 1900 roku Antoni Witek wydzierżawił karczmę od aryksięcia Karola Stefana, natomiast w 1912 roku wykupił ją od niego. W 1968 roku Spółdzielnia Turystyczno-Handlowa "Pilsko" kupiła Starą Karczmę od rodziny Witków i jest jej prawnym właścicielem do dnia dzisiejszego.

Karczmę usytuowano przy szlaku handlowym prowadzącym z Żywca na Słowację, obok skrzyżowania dróg, w pobliżu kościoła św. Wojciecha. Jest to budynek parterowy o dwóch skrzydłach umieszczonych pod katem prostym, frontem zwrócony na wschód. Karczma przykryta jest olbrzymim dachem łamanym polskim z gontów z dymnikami. Jej obszerne wnętrze posiada klasyczny podział sal z mocno wyeksponowaną szynkownią zwaną także izbą główną czyli sala zabawową. W niej znajdowała się tzw. stolica czyli miejsce dla kapeli. Górale zasiadali w Karczmie za prostymi drewnianymi stołami na ławach i stołkach. Po prawej stronie wejścia do sieni było małe pomieszczenie, gdzie sprzedawało się mięso i wędliny. Antoni Witek prowadził także rzeźnictwo. Na końcu w przedłużeniu sieni przejazdowej znajdował się "stanem" czyli wozowania dla koni, bryczek i sań. Za obrzeżem Karczmy od strony drogi do Sopotni stała duża lodownia z desek, izolowana trocinami, do której w zimie zwożono z rzeki Koszarawy 200 sanek lodu, który topił się stopniowo i przetrzymywał całe lato. W lodowni przechowywało się piwo, mięso i artykuły spożywcze. Przed Karczmą znajdowała się studnia z dobrą wodą, którą pojono odpoczywające konie.

Karczma pełniła ważna rolę w życiu wsi. Karczmarz werbował i pośredniczył przy werbunku górali do robót przy wyrębie i spławianiu drzewa. W karczmie często odbywały się wesela, wówczas przez kilka godzin jedzono, pito i tańczono przy dźwiękach orkiestry, składającej się z dudów i skrzypiec. Kapela siedziała na 2 deskach umieszczonych w rogu sali. Jako ciekawostkę należy dodać, iż dość często w Karczmie w dni powszednie znajdywało się kilka wesel, każde ze swoją orkiestrą, każda z nich grała na swoja nutę, przy której w tłoku tańczyło się głównie obertasy z przyśpiewkami. Przy tej okazji nie obyło się bez bijatyk, które zaczynały się w Karczmie a kończyły na zewnątrz. Kiedy w niedziele odbywały się chrzty w kościele, goście i kumotrowie przybywali do karczmy z ochrzczonymi dziećmi, układając maleństwa na jednym dużym stole - nieraz było ich kilkanaście. Odbywały się także piesze pielgrzymki ze Słowacji do Kalwarii Zebrzydowskiej i Częstochowy. Pielgrzymi przychodzili wieczorem, noc spędzali w Karczmie na podłodze, a po spożyciu śniadania wcześnie rano wychodzili, idąc dalej pieszo lub pociągiem z pielgrzymką. We wtorek w rynku Jeleśni odbywał się targ. Karczma pełna była wówczas handlarzy, którzy chętnie się w niej stołowali. W karczmie oprócz wesel odbywały się również zabawy, stypy; tu zatrzymywali się podróżni na nocleg. Karczma była jedynym miejscem rozrywki dla młodych i starszych. W niedzielę w karczemnej izbie bawili się wszyscy mieszkańcy wsi. Za honor uchodziło spicie się i towarzystwa do nieprzytomności.

Pod koniec XIX wieku, kiedy karczma była dobrem Habsburgów serwowano w niej dania na modłę restauracji wiedeńskich i stosowano przepisy kulinarne z XIX-wiecznych książek kucharskich. Tradycyjne jadło góralskie stało się modne w okresie Drugiej Rzeczypospolitej, podawano wówczas potrawy zwyczajowe dla miejscowej ludności.

Goście karczmy wywodzili się różnych kręgów a w szczególności byli to mieszkańcy Jeleśni i okolicznych wsi, przybysze przejeżdżający szlakiem Polska-Słowacja, w okresie zaboru austriackiego żołnierze i oficerowie w czasie przemarszu, Wojsko Polskie w okresie manewrów, handlarze, którzy przyjeżdżali na wtorkowy targ w rynku Jeleśni, letnicy z różnych okolic Polski po 1920 roku. W latach 20-tych turyści przyjeżdżali różnymi środkami lokomocji. W Karczmie odpoczywali pierwsi turyści udający się na Pilsko i Babią Górę.

Zachodzili do Starej Karczmy zbóje: Wojciech Mizia – harnaś, Mateusz Klimczak oraz najsłynniejszy zbójnik Żywiecczyzny Fiodor Proćpok. Wśród grupy gości nie mogło zabraknąć prekursora turystyki górskiej, inicjatora i budowiczego schroniska turystycznego na Hali Miziowej, prof. Kazmierza Sosnowskiego. Karczma gościła wielu wybitnych ludzi pióra, wśród nich krakowskiego poetę i pisarza Jalu Kurka. Właśnie on zauroczony pięknem Jeleśni i okolicy umiejscowił akcję swojej powieści pt. "Janosik" w realiach naszej miejscowości.

Okres II wojny światowej odcisnął swoje piętno na stanie zabytku. Karczma w czasie wyzwoleńczej ofensywy w lutym 1945 roku trafiona została artyleryjskim pociskiem, który przyniósł szereg zniszczeń. Gruntowny remont Starej Karczmy miał miejsce w latach sześćdziesiątych i wtedy to jako materiałów rekonstrukcyjnych użyto elementów pozyskanych z krakowskich Sukiennic. Środkowy strop (tragarz) znajdujący się w dużej sali pochodzi właśnie z Sukiennic.
Czas upływa niczym woda niesiona przez tak liczne górskie potoki wypływające spod szczytów Pilska i Babiej Góry a Karczma stoi przy drodze i otwiera swoje podwoje serdecznie zapraszając wszystkich turystów, wędrowców, głodnych i spragnionych. Wizyta w Starej Karczmie jest także podróżą w miniony czas, którego ślady coraz trudniej nam już odnaleźć.