Hos velhavende folk på egnen tegnede den foretagsomme yngling nu en "Aktiekapital" i sin egen fremtid og fik derved midler til at begynde læsningen på Ranum statsseminarium 1878. Herfra dimitteredes han 1881 og blev efter et par korte vikariater hjælpelærer i Kollerup, Vester Han herred. 1889 ansattes han som enelærer ved Koldmose skole i Tranum sogn, Øster Han herred. Her blev han til 1902 da han opgav embedet og forlod den barske, afsides egn ved Jammerbugten for helt at hellige sig forfatter- og foredragsvirksomhed. 

I nogle år boede han forskellige steder, i København, i Århus, i Beder ved Odder, men købte 1908 halvøen Dynæs med det gamle borgsted i Julsø over for Himmelbjerget. Her boede han til 1915, de sidste år kæmpende med økonomiske vanskeligheder der til slut tvang ham bort.
 
Et par år var han knyttet til Kærhave Husmandsskole ved Ringsted og flyttede derefter ind i den æresbolig som danske husmænd havde bygget til ham på Løgstør bakke hvor han boede til sin død.

Et uroligt rejseliv prægede hans personlige tilværels, ustandselig var han på farten landet rundt som taler ved folkelige møder, for det anckerske legat rejste han 1928 i Tyskland og Italien, han var 1910–11 på foredragsturne i Amerika, indbudt af de danske foreninger, endelig talte han i Skandinavien og Finland om den danske husmandsbevægelse.

Når han så ofte tyede til den korte episke form skyldtes det ikke alene hans evne for den isolerede situationsskildring, men også dette farende livs udstykning af arbejdstiden.
En rig udvikling havde Johan Skjoldborg oplevet gennem sin lykkelige barndom under påvirkning af den stille, hjertelige mor og den begavede, selvstændige far, til hvem han hele sit liv igennem vendte tilbage i taknemmelig og beundrende omtale.
 
Også en dygtig landsbylærer fik betydning for ham, og efter årene i Ranum hvor især historielæreren, teologen A.S. Levinsen fængslede ham fortsatte han som ung lærer på egen hånd sin uddannelse gennem en omfattende læsning, navnlig skønlitteratur og historie: 1897–98 studerede han dansk litteratur og sprog ved Statens lærerhøjskole.

Som lærer for børnene fulgte han de Grundtvig-Koldske skoleideer i en livfuld og ganske usystematisk undervisning som en tid bragte ham i misforhold til myndighederne og de gammeldags klitboere, men vandt ham børnenes hengivenhed og ved de smukke resultater også omsider overbeviste forældrene og tilsynet.

Han kastede sig ud i et mangfoldigt folkekulturelt arbejde der omfattede almindelig oplysning, politisk vækkelse, afholdssag, fredssag, plantningssag osv., og en særlig fortjenstfuld indsats gjorde han ved på Nationalmuseets vegne at foranledige en fra bøndernes side frivillig fredning af flere hundrede gravhøje i hele landet nord for Limfjorden.

Ud fra sin egen afstamning og sit nære samliv med befolkningen i Koldmose var hans følelse tidligt vakt for husmændene der endnu manglede fuld politisk ret og fortjent social placering, og da digterplanerne lidt efter lidt tog form for ham som et kald, blev disse mennesker og deres liv nærliggende motiver for hans første litterære forsøg.

1886 debuterede han i Folkets Almanak med fortællingen Et Endeligt, endnu stærkt påvirket af skolelærerlitteraturens forbilleder; han indså selv dens kunstneriske brist og holdt sig tilbage i seks år, inden han atter, 1893, vovede sig frem med fortællingsamlingen I Skyggen der viste større sikkerhed men dog kun svagt røbede det talent som først med romanen En Stridsmand, 1896 slog afgørende igennem. 1899 fulgte Kragehuset, igen en husmandsskildring af høj kunstnerisk rang. 

I En Stridsmand, der indledes med den stærke programsang Du Husmand, som ørker den stridige Jord, fortælles om en slider fra klithusmændenes yderste forpostfront, en af pionererne på Danmarks prærieland, kun optaget af de materielle fornødenheder; i Kragehuset tages den samme type op, men her stillet i modsætning til næste slægtled der har lagt vejen om ad højskolen og fået sindet åbnet for de åndelige værdier der lader sig udmønte trods de slidsomme og trange kår.

De to ypperlige bøger bragte husmændenes sociale problem frem i den offentlige debat og bidrog overordentligt til hele standens rejsning og samlin:; med rette fik navnet "Husmændenes Digter", først brugt af politikeren Vilhelm Lassen.

Det blev en anden fattig og forskudt befolkning, herregårdenes lønarbejdere, Johan Skjoldborg viede sin næste større bog, romanen Gyldholm, 1902, hvortil han forklædt som daglejer havde gjort studier på en herregård ved Odder; den vakte enorm opmærksomhed, bl.a. ved sine krasse sociale skildringer, men rejste også en almindelig medfølelse med de usselt stillede mennesker, hvorved betingelserne for en reform af deres levevilkår fremmedes. Denne bog der kunstnerisk hører til Johan Skjoldborgs bedste fortsattes senere, 1912, med Per Holt der dog hverken digterisk eller agitatorisk kommer på siden af Gyldholm.

Fra disse socialt betonede forhold vendte Johan Skjoldborg sig nu til andre områder. Hans ungdoms tilknytning til den grundtvigske bevægelse der under påvirkning af "Det moderne Gennembrud"s ånd og socialismen havde løsnet sig, er forudsætningen for storbonderomanen Bjærregaarden, 1904 hvori han søger at finde fællesnævneren for urgrundtvigianismen, andelsbevægelsens materielt-økonomiske islæt og det åndsradikale "fritænkeri"; han sætter de generationsbestemte modsætninger i det folkelige kulturliv op mod hinanden, personificerede i den gamle bedstefar hvis livssyn er åndeligt bestemt fra de første vækkelsens tider, den midaldrende søn der har afbalanceret det åndelige med det materielle, en foregangsmand i landbrug og andelsvæsen, politisk indflydelsesrig, og den unge sønnesøn der engagerer sig i de nye socialistiske tanker.

Ingen af de tre åndsformer kan efter Johan Skjoldborgs mening forkastes; der er værdier i dem alle. Den samme udlignende tanke tog han siden op på ny i det smukke skuespil Slægten, 1925, et livsklogt og magtfuldt kulturbillede der giver det fyldigste udtryk for hans bredtfavnende humanistiske livssyn, hvis centrale vurderingsgrundlag er det element af menneskelig ægthed som de forskellige åndsformer og kulturretninger har fælles.

Det næste højdepunkt i Johan Skjoldborgs digtning betegnes med romanen Nye Mænd, 1917. Her vender han sig delvis mod den udvikling han selv har været med til at fremme idet han peger på faren ved det udadvendte liv i organisation og anden offentlighed hvorved det egentlige livsfundament, hjem og familieliv, forskydes; sindets naturlige liv og personlighedens frodige vækst visner og forkrøbler, og de "nye mænd" er dem der søger tilbage til hjemmets fred og lunhed.
Svagere i idealistisk tendens er den noget virkelighedsfjerne frireligiøse forkyndelse i Præsten i Løgum I-II, 1921–22, hvis humane fromhedstone tangerer det sødladne i modsætning til beslægtede glimt rundt om i Johan Skjoldborgs talrige småfortællinger der er samlede under titler som Almue, 1900, Ensomme Folk, 1909, Himmerlandsbroen, 1913, Skyer og Solglimt, 1923, Mulm og Gry, 1927 o.fl.a.

I disse mindre arbejder fejrer hans kunstneriske evne og dybe menneskekundskab sande triumfer der dog blandes op med mere ordinære ting.

Blandt hans større fortællinger må især nævnes den vemodige kærlighedshistorie Sara, 1906 med det uovertrufne indledningskapitel om de voksne husmandsbørns besøg hos forældrene på en skiftedag, den friske sømandsskildring Søfuglen, 1908 og den medfølende og dybt forstående Lene, 1928 med beretningen om en overset kvindes ulykke og redning. 
Foruden Slægten foreligger skuespillene Ideale Magter, 1911 og Mikkel Larsens Drenge, 1914, begge virkningsfulde folkekomedier, populære også som film og hørespil, men uden dybere værdi. I Dynæs Digte, 1915 samlede han sine digte og sange, af hvilke adskillige nyder stor og fortjent yndest i folkelige kredse, fremfor alle Naar Vinteren rinder i Grøft og i Grav, skrevet allerede 1897, der med Johannes Torrilds melodi er blevet husmændenes uforgængelige opsang.

Et udvalg af hans artikler og taler er bevaret i Udmarksfolkene, 1912; særskilt udsendte han 1920 det originale og dybsindige foredrag Arbejdets Personlighedsværdi. Som folketaler var Johan Skjoldborg en af tidens ejendommeligste og mest fængslende, trods sit uegnede organ i stand til at holde en tusindtallig forsamling fangen: med stor oratorisk kunst vekslede han mellem en lyrisk, højstemt patos og en fortrolig, folkelig humor der gennem genialt udformede eller umiddelbart oplevede eksempler fra dagligdagens liv gjorde begreber og tankebaner let tilgængelige for alle.
Inden for den sociale digtning indtager Johan Skjoldborg en særstilling ved sit lyse livssyn der i stigende grad kommer til udtryk gennem forfatterskabet.

Han var den ældste i den gruppe af hjemstavnsforfattere Sven Møller Kristensen har samlet under begrebet "den store generation".

Personligt havde dette festlige og storladne menneske en enestående evne til at skabe sig venner for sin sag. De tidlige værker En Stridsmand og især Gyldholm rummer et socialt engagement og en tro på det fælles initiativ og handling som tændte an. Husmændene genkendte sig selv og deres livsvilkår i Johan Skjoldborgs digtning, og han blev for dem hvad Martin Andersen Nexø var for byproletariatet. 
Johan Skjoldborgs livsanskuelsesdebat må søges i hans taler og artikler, i fiktionen koncentrerer han sig om karakterskildringer.

Han hylder den stejle vilje, selv om den kunne blive til trods under de hårde livsvilkår, og kæmper for slidernes åndelige bevidstgørelse til et rigere menneskeligt liv.

Han angreb kristendommen for dens konservative virkning i miljøet og viste hen til den personlige samvittighed bygget på realiteten og hensynet til fællesskabet.

I det senere forfatterskab viser sig en uro over udviklingen omkring første verdenskrig og en afstandtagen fra landbrugets mekanisering.

Hans fordømmelse af de nye masseorganisationer og hans tro på den gamle almuekultur og den evige slægternes gang, foreksempel i Nye Mænd, 1917 kan få noget tilbageskuende over sig.

Han afrundede sin enestående livsindsats som folkelig agitator og kunstner i sin levende og smukke erindringsbog Min Mindebog, 1934–35, hvor han afklaret står som talsmand for et traditionstro og tolerant menneske- og livssyn. En akademisk æstetisk vurdering af hans værker bliver en abstraktion over for denne ukunstlede og engagerede forkæmper for husmændenes sag.