Raamatukogundusliku tegevuse alguseks Jõhvis võib lugeda karsklusseltsi “Kiir” raamatukogu asutamist 1897. aastal, mis tegutses 1913. aastani.
1921. aastal tegutses siinkandis kolm rahvaraamatukogu : Sompa haridusseltsi, Puru ja Kahula kooli raamatukogud. Jõhvis sel ajal raamatukogu puudus. Seda tõendab kirjutis ajalehes “Vaba Maa” (14.02.1922) – “Jõhvi on seltsielule selja pööranud ja äri ümber koondunud. Pole siin ei raamatukogu ega lugemistuba, haridusseltsi ega spordiringi, kuid restorane kaks.”
1925. aastal rakendus Eestis avalike raamatukogude seadus. Sellest tulenevalt asutati 1926.aastal raamatukogu ka Jõhvis.
Jõhvi Valla Keskraamatukogu asus vallamaja ooteruumis. Raamatukogu juhatajaksoli Adele Davidoff (hiljem Raiend). Kogu koosnes 120-st eestikeelsest raamatust. Laenutada võis korraga 2 raamatut.
1930. aastal tegutses raamatukogu võrgus 3 osakonda: Kahula, Vasavere algkoolis ja Tarakuse külas. 1933. aastal aga juba 6 osakonda – lisaks eelmistele veel Sompas, Purus ja Edisel.
Aastatel 1939/40 oli raamatukogus 1574 raamatut ja 67 lugejat.
Jõhvi Valla Keskraamatukogu tegutses sama asukohaga 1943. aastani, mil maja linnas puhkenud suures tuleõnnetuses hävis.
Raamatukogu järjepidev areng sai taas alguse 14. dets. 1945. aastal, mil võeti vastu otsus moodustada Jõhvi Linna Raamatukogu. Järgmisel aastal nimetati raamatukogu ümber Jõhvimaa Maakondlikuks Raamatukoguks. Aastate jooksul
on raamatukogu kandnud mitmeid nimetusi, kuid olnud alati seotud maakonnaga (varem rajooniga).
1970-ndad aastad olid raamatukogu tegevuses suurte muutuste ja ümberkorralduste aeg. Aastatel 1972-1974 toimus vabariigis rahvaraamatukogude võrgu tsentraliseerimine. Raamatukogu sai 1973. aastal nimeks Kohtla-Järve Rajooni Keskraamatukogu, külaraamatukogud muutusid haruraamatukogudeks.
Seoses sellega hakkas raamatukogu täitma mitmeid keskraamatukogu funktsioone: haldama rajooni raamatukogude eelarvet, varustama inventariga külaraamatukogusid,uus loodud komplekteerimisosakond tellis, kujundas ja toimetas kohale kõigile 27 raamatukogudele raamatud, raamatubuss asus teenindama hõreda asustusega maapiirkondade lugejaid.
Koos Eestimaa taasiseseisvumisega toimusid suured muudatused ka raamatukogus.
Alates 1992. aastast kuulub raamatukogu Jõhvi linna haldusesse ja kannab nimetust Jõhvi Keskraamatukogu. Külaraamatukogud detsentraliseeriti kohalike omavalitsuste allasutusteks. Keskraamatukogu maakondlikud funktsioonid säilisid.
1995. aastal lahenes raamatukogu ammune ruumide probleem. Raamatukogu jaoks renoveeriti endine kino “Rahu” maja, kuhu paari aasta jooksul koliti kokku kõik seni eraldi hoonetes asunud osakonnad. 1999. aastal toimus keskraamatukogus veel üks oluline sündmus, mis pani aluse uutele võimalustele raamatukogu infotöös. Nimelt avati 1. oktoobril 1999. a. raamatukogus Avalik Internetipunkt.
Raamatukogu fondi sisestamist elektroonilisse andmebaasi alustati 1996.aastal ja elektroonilisele laenutusele üleminek toimus 2005.aasta maikuus.
Seoses Jõhvi linna ja valla ühinemisega 2006. aastal liideti lisaks Jõhvi Haruraamatukogule Jõhvi Keskraamatukogu struktuuri ka Tammiku raamatukogu.
1. märtsil 2015. aastal suleti kunstikooli majas asuv Jõhvi Haruraamatukogu, mille asemel avati laenutuspunkt eakate päevakeskuse ruumides.
Hetkel on Jõhvi Keskraamatukogu kõige suuremaks probleemiks taas kujunenud suur ruumipuudus. Lahendusena on Jõhvi valla arengukava prioriteetide hulgas kirjas raamatukogule uue hoone rajamise vajadus.