1930-luvun Joensuussa työläispojalle sosiaalidemokraattisen puolueen teatteri, kisäl-liryhmät ja kaupungin työväenyhdistyksen tanssiorkesteri merkitsivät todellisia kult-tuurivaihtoehtoja. Ensimmäisen hanurinsa, italialaisen Coperativan, hän oli ostanut pirtutrokari Parviaiselta. Pakarinen oli Työväen näyttämön iltanäyttelijänä ja soitti työväenyhdistyksen Keskiyö-tanssiorkesterissa vuodet 1930-39. Tämä yhtye tuli yhä maineikkaammaksi ja veti talon aina täyteen väkeä. Punaisissa turkkilaisissa lakeissa ja eksoottisissa kulisseissa soittavan haitarijazzia tuuttaavan orkesterin perässä pyörivät Joensuun tytöt. 1930-luvun laman ja poliittisen ilmapiirin kiristyessä Keskiyön muusikot joutuivat usein vartioimaan työväentaloa IKLn poikien polttoyrityksiltä koko yön.

Esa Pakarinen oli tutustunut työväenyhdistyksen piirissä Kisällittäret-naisyhtyeessä hanuria soittavaan Aino Juntuseen, josta tuli hänen ensimmäinen vaimonsa vuonna 1934. Nuo vuodet 1934-37 hän mainitsee aina köyhän laihan pojan elämän onnellisimpana aikana, nuoruutensa Joensuussa. Anoppi kuoli häiden jälkeen seuraavana vuonna lentävään keuhkotautiin. Esa joutui neulomaan Työväen näyttämön esiintymisasuja, liitupiirin pukuja Brechtin Kaukasialaiseen, viikon ajan anopin ruumiin kanssa. Sitten seurasivat hautajaiset.

Keskiyö-orkesterissa joukko hyviä muusikoita soitteli Asfalttikukkaa ja Yliaaltojen -valssia. Tuleva demarien kansanedustaja Varma Kosto Turunen soitti aluksi rumpuja ja trumpettia, mutta rupesi sitten laulamaan iskusäveliä megafonin kautta. Pakarinen oli myös haitarilla soittamassa Turusta eduskuntaan Pohjois-Karjalan puhujakiertueil-la ennen talvisotaa..

Esa Pakarisen ensimmäinen avioliitto kaatui muutaman vuoden päästä mustasukkaisuuteen. Sen jälkeen hän iski silmänsä Joensuun teatterin vaaleaan näyttelijättäreen Orvokki Vesarantaan, josta tuli hänen toinen vaimonsa. Orvokki oli siirtynyt Jyväskylän teatteriin syksystä 1939, ja samana syksynä vihitty aviopari jäi ilman häämatkaa. Esa Pakarinen joutui suoraan talvisotaan, it-patteriston tykkimieheksi, Survon lohkolle.

Pariskunnalle syntyi vuonna 1940 pieni vaalea tytär Paula. Pakarinen työskenteli rautakaupassa ja soitti Jyväskylässä iltaisin Rytmi-yhtyeessä. Lapsuuden ja nuoruuden Joensuu oli jäänyt taakse, ja sieltä tullut viesti kertoi vain ensimmäisen vaimon Ainon kuolemasta lentävään keuhkotautiin.