1920 metais Kelmės miestelio ir apylinkių inteligentai susiburė į Švietimo draugijos Kelmės skyrių. Jo steigėjai buvo Kelmės vaistininkas B. Bucevičius, pastorius K. Kurnatauskas, medikas B. Gasiūnas, E. Gasiūnienė, kunigas P. Janušauskas, mokytojas Arlauskas. Draugijos tikslas – įkurti Kelmės progimnaziją. Ji buvo įkurta 1921 metų rugpjūčio 19 d. Pirmuoju direktoriumi buvo paskirtas Kelmės evengelikų reformatų pastorius Konstantinas Kurnatauskas. Mokykla įsikūrė buvusios dvarininko Gruževskio alaus daryklos pastate. Jos darbo sąlygos buvo sunkios. Progimnazijoje mokytojavo iškilus kalbininkas ir vertėjas Jurgis Talmantas, dailininkas Zigmas Petravičius, Pranciškus Juchnevičius, Ona Timinskaitė ir kt.
Pirmąją savo laidą Kelmės progimnazija išleido tik 1923 metais. Tuo metu joje mokėsi apie 120 mokinių. Vėliau jų sumažėjo. 1936 metais buvo tik 90 mokinių. Mokykla turėjo 500 knygų bibliotekėlę. Progimnazijai lėšos buvo kaupiamos iš aukų ir mokinių mokesčio už mokslą.
Nuo 1924 metų pradėta karštai diskutuoti dėl gimnazijos įkūrimo Kelmėje. 1932 metais progimnazijos direktoriumi paskirtas poetas Jonas Graičiūnas. Jau 1937 metais gimnazijoje buvo įkurta penktoji klasė. 1939 metų rugsėjo 1 d. Švietimo ministerija įsteigia valstybinę gimnaziją, nors joje buvo tik septynios klasės. Oficialiai gimnazija atidaryta tik 1940 metų birželio 9 d., o 1941 metų birželio 21 d. išleidžiama pirmoji abiturientų laida, t. y. 53 mokiniai.
Slogūs ir sunkūs gimnazijai buvo sovietinės ir hitlerinės okupacijos metai. Gimnazija neturėjo patalpų, buvo kilnojama iš vienos vietos į kitą. Tačiau, nepaisant įvairių kliūčių, 1942–1944 metais gimnaziją baigė antroji ir trečioji, ketvirtoji abiturientų laidos. Išleidus ketvirtąją abiturientų laidą, rytuose jau girdėjosi sovietų armijos patrankų dundesys. Spalio 6 d. okupantai sugrįžo į Kelmę.
1950 metais gimnazija tampa vidurine mokykla. llgai ir sėkmingai mokykloje dirbo direktoriai A. Makarevičius, J. Alsbutas, M. Jovaiša, Z. Petrauskas ir kt., mokytojai B. ir J. Kavaliauskai, B. Garšvienė, G. Rutkūnienė, A. ir P. Matkevičiai, A. Siurginevičienė, E. ir J. Alsbutai, Br. Urbelis, A. Vidauskienė, A. Butkus, J. Stasiulaitis, K. Šarauskas, A. Čepienė, I. Sabaitienė, S. Ditmanas, G. Encienė ir daugelis kitų. Visi kelmiškiai dar ir šiandien mena mokytojas Petronėlę Laugalytę, Eleną Paulekaitytę, Liudą Rukienę, Br. Lazickienę. Šiandien su pagarba minimi buvę mokyklos auklėtiniai: profesoriai Kęstutis ir Gediminas Jociai, humanitarinių mokslų daktarė R. Venckutė, technikos mokslų daktaras V. Pikturna, poetas V. Šimkus, aktoriai C. Judeikis, C. Stonys, AB „Baltija“ laivų statyklos direktorius V. Stulpinas, AB „Autoturas“ direktorius R. Paulauskas, valstybinės troleibusų transporto įmonės direktorius J. Bagdonavičius ir daugelis kitų.
Prasidėjus tautiniam atgimimui, mokykla aktyviai pertvarko ugdomąjį procesą. Jo pamatu tampa dorovinis auklėjimas. Puoselėjama saviaukla, kūrybinė iniciatyva, moksleiviai plačiau supažindinami su pasaulinės literatūros, kultūros ir mokslo laimėjimais. Mokykla aktyviai dalyvauja visuomeniniame gyvenime, pagal galimybes stiprina savo materialinę bazę.
Švietimo skyriui pasiūlius, mokykla siekia atgauti gimnazijos statusą. 1993-1994 metais įkurta pirmoji gimnazijos klasė, o 1997 metais realinio ir humanitarinio profilio gimnazija atkurta ir pavadinta poeto Jono Graičiūno vardu.