Началом библиотечной деятельности в Йыхви можно считать основание библиотеки общества трезвости “Луч” в 1897 году, которая действовала вплоть до 1913 года.
В 1921 году в округе действовали три публичные библиотеки: общества просвещения в Сомпа, школьные библиотеки Пуру и Кахула. В Йыхви в это время библиотека отсутствовала. Это подтверждает статья в газете “Ваба Маа” (14.02.1922) – “Йыхви повернулся спиной к общественной жизни и сосредоточен на деловом бизнесе. Здесь больше нет ни библиотеки, ни читальной комнаты, также нет ни просветительского общества, ни спортивного кружка, однако есть 2 ресторана.”
В 1925 году вышел закон об открытых библиотеках в Эстонии. В связи с этим, в 1926 году основали библиотеку в Йыхви.
Центральная библиотека волости Йыхви находилась в комнате ожидания волостного дома. Заведующей библиотеки была Аделе Давидофф (позже Райенд). Фонд составлял 120 книг на эстонском языке. Брать на дом разрешалось 2 книги.
В 1930 году действовала уже сеть волостных библиотек в 3 отделениях: в Кахула, в начальной школе Васавере и деревне Таракусе. А в 1933 году действовало уже 6 отделений – к трём названным добавились еще Сомпа, Пуру и Эдисе.
В 1939/40 годах в библиотеке было 1574 книги и 67 читателей.
Центральная библиотека волости Йыхви действовала в том же месте вплоть до 1943 года, пока здание не сгорело при пожаре.
Последовательное развитие бибилиотеки вновь получило начало 14 декабря 1945 года, когда было принято решение образовать Городскую библиотеку города Йыхви. Через год ее переименовали в Уездную библиотеку города Йыхви. С годами библиотеку переименовывали несколько раз, однако название всегда было связано с уездом (ранее с районом).
1970-ые годы были временем реструктуризации и больших изменений в деятельности библиотеки. В 1972-1974 г.г. в республике прошла централизация сети публичных библиотек. В 1973 году библиотека получила новое название Кохтла-Ярвеской районной центральной библиотеки, а сельские библиотеки переименовались в филиалы.
В связи с этим библиотека начала выполнять ряд функций центральной библиотеки: управлять бюджетом районных библиотек; снабжать инвентарем деревенские библиотеки; новый отдел комплектования стал заказывать, формировать и доставлять книги для всех 27 библиотек; библиотечный автобус обслуживал сельских читателей в малонаселенных местах.
Наряду с восстановлением независимости Эстонской Республики произошли крупные изменения и в жизни библиотеки. С 1992 года библиотека относится к административной единице города Йыхви и носит название Центральной библиотеки города Йыхви. Сельские библиотеки перешли в подчинение местных органов самоуправления. Центральная библиотека сохранила функции уездной библиотеки.
В 1995 году разрешилась давняя проблема библиотеки с нехваткой помещений. Для библиотеки реновировали здание бывшего кинотеатра «Rahu», куда в течении двух лет переехали все отделы, ранее находящие в разных зданиях. В 1999 году в центральной библиотеке состоялось еще одно важное событие, которое положило начало новым возможностям в информационной работе библиотеки. А именно, 1 октября 1999 г. в библиотеке появился Открытый Интернет-пункт.
В 1996 г. начали вводить библиотечный фонд в электронную базу данных и в мае 2005 г. перешли на электронную абонементную выдачу книг.
С 2006 года, в связи с объединением города Йыхви и волости, в структуру Центральной библиотеки города Йыхви входит помимо филиала библиотеки города Йыхви еще и библиотека Таммику.
1 марта 2015 г. закрыли филиал библиотеки, находившийся в школе искусств. Вместо этого открыли пункт выдачи книг в Йыхвиском центре для пожилых людей.
На сегодняшний день самой большой проблемой Центральной библиотеки г. Йыхви является вновь возникшая острая нехватка помещений. Необходимость построить новое здание библиотеки указана в числе приоритетных в плане развития Йыхвиской волости.