Urodził się 5 lipca 1852 r. w Pawłowicach jako najmłodsze dziecko w rodzinie ogrodnika Józefa i Rozalii ze Szczepańskich, którzy mieli troje dzieci (przed Bolesławem córkę Teofilę i syna Romualda).
Ojciec Bolesława – Józef Jakub prawdopodobnie w latach 1829-1832 służył w pułku Kirasjerów we Wrocławiu wychodząc z wojska jako podoficer. Wraz z rodziną, oprócz Pawłowic, mieszkał w Wielkiej Łęce, Przybyszewie, Rokosowie i Drzewcach. Istnieje też zapis, że w roku 1852, czyli roku urodzenia się syna Bolesława, mieszkał w Poznaniu (Księga ślubów parafii Sławięcice, gdzie jest wpisany jako Józef Jakub Erzepki - ogrodnik z Poznania – świadek na ślubie jego siostry Antonie). Był ogrodnikiem (podobnie jak w Sławięcicach jego ojciec – też Józef) oraz projektantem ogrodów i parków. Ładnie rysował, stworzył drzewo genealogiczne przechowywane w biblioteczce jego wnuka Zdzisława Erzepki (zaginęło w Powstaniu Warszawskim).

Bolesław Erzepki kształcił się w gimnazjum w Lesznie, następnie studiował slawistykę i historię na Uniwersytecie Wrocławskim (1875-1884), gdzie był uczniem m.in. Władysława Nehringa. W latach 1877-1885 praktykował jednocześnie w Bibliotece Miejskiej we Wrocławiu; w 1885 obronił doktorat na Uniwersytecie Wrocławskim na podstawie pracy Der Text der Gnesener Predigten kritisch beleuchtet.

W tym samym roku przeniósł się do Poznania i został bibliotekarzem oraz konserwatorem zbiorów Biblioteki Poznańskiego Towarzystwa Przyjaciół Nauk, zdobywając miano twórcy ładu archiwalnego w tej instucji. Od 1885 był też członkiem zwyczajnym Towarzystwa Przyjaciół Nauk (1893-1914 przewodniczący Wydziału Historyczno-Literackiego, 1923 członek honorowy). W 1904 został członkiem-korespondentem Akademii Umiejętności (późniejsza PAU); brał udział w pracach Komisji Językowej, Komisji do Badań w Zakresie Historii Literatury i Oświaty w Polsce oraz Komisji Antropolgicznej AU. W tym samym 1904 roku został też członkiem Sekcji Archeologicznej Muzeum Królestwa Czeskiego w Pradze. Współpracował z "Dziennikiem Poznańskim".

W 1915 przyczynił się do powstania Uniwersytetu Poznańskiego. W latach 1917-1918 prowadził wykłady z języka polskiego oraz historii literatury polskiej XV-XIX wieku w Towarzystwie Kursów Naukowych w Warszawie, natomiast w latach 1919-1920 był dyrektorem Archiwum Państwowego w Poznaniu. W roku 1922 został profesorem honorowym (tytularnym) Uniwersytetu Poznańskiego. Od roku 1923 był członkiem honorowym Instytutu Zachodnio-Słowiańskiego w Poznaniu.

Jeszcze przed podjęciem studiów zaczął gromadzić książki, z których powstała dość pokaźna biblioteka prywatna, licząca pod koniec trzeciej dekady XX w. około 2000 tomów, przeważnie z zakresu historii literatury polskiej i języka polskiego. Księgozbiór jego zawierał mnóstwo rzadkich wydań z XVI i XVII wieku, pierwodruków poetów polskich oraz wydawanych przez księgarzy poznańskich (Karola Kozłowskiego, Merzbacha, Żupańskiego) dzieł z 1-szej połowy XIX wieku.

W pracy badawczej zajmował się historią literatury polskiego Odrodzenia, bibliotekoznawstwem, edytorstwem, filologią słowiańską oraz prahistorią. Przeprowadził analizę tekstu i języka Kazań gnieźnieńskich. Odnalazł i przygotował do wydania wiele utworów pozostających wcześniej w rękopisie, autorstwa Kochanowskiego, Trembeckiego, Zabłockiego i Norwida. Za Słownik łacińsko-polski Bartłomieja z Bydgoszczy (1897-1900) otrzymał nagrodę AU im. Lindego. Wydał także m.in. zbiór twórczości Zabłockiego: Ody. Pasterki. Satyry. Wiersze rozmaite. Pamflety polityczne wierszem i prozą. Przekłady i naśladowania. Urywki różnych komedii (1903) oraz Listy T. Lenartowicza do E. Estkowskiego z lat 1850-56 (1922). Skatalogował zbiory Biblioteki i Muzeum Poznańskiego Towarzystwa Przyjaciół Nauk. Prowadził badania na cmentarzysku ciałoplanym w Gorzycach (powiat jarociński), odkrył wielkie cmentarzysko w Grabiu w powiecie pleszewskim.

Ogłosił ponad 70 prac naukowych, m.in.:
- Nowe materyały do archeologicznej mapy Wielkopolski (1879);
- Jana Liciniusa Namysłowskiego "Sententiae". Nieznany druk polski z roku 1588 (1882);
- Wiadomości bibliograficzne o nieznanem kazaniu Piotra Artomiusa w Toruniu wydanem r. 1593 (1884);
- Wacława Potockiego dwa nieznane poemata: "Zgoda" i "Do Żałobnej Korony Polskiej po traktatach tureckich" (1889);
- „Krytyka krytyki i literatury" - nieznany utwór Juliusza Słowackiego (1891);
- Album przedhistorycznych zabytków Wielkiego Księstwa Poznańskiego (1893);
- Nieznane zabytki piśmiennictwa polskiego (1899);
- Słownik łacińsko-polski Bartłomieja z Bydgoszczy podług rękopisu z roku 1532 (1900);
- Przyczynki do średniowiecznego słownictwa polskiego (1908);
- Julian Klaczko - pisma z l. 1849-51 (1919);
- Kto jest autorem "Carmen Macaronicum de eligendo vitae genere", Kochanowski czy Klonowicz (1928).

Miał żonę Rozalię z Węclewskich i czworo dzieci: Helenę, Dorotę, Teresę i Zdzisława. Prawdopodobnie zmienił (lub wrócił) nazwisko z Erzepky na Erzepki – wcześniej w rodzinie pojawiało się ono w formach Ersepky/Erzepky oraz Ersepki i Erzepka. W każdej z tych form było nazwiskiem bardzo niezwykłym, tak obcym, że często mylonym ze znanym nazwiskiem Rzepka. Zmarł 27 marca 1932 r. w Poznaniu. Pochowany został na Cmentarzu św. Marcina* przy ul. Bukowskiej (obecnie teren Międzynarodowych Targów Poznańskich). Jego szczątki zostały w dniu 23.06.1942 r. ekshumowane i przeniesione na cmentarz przy ul. Samotnej (Poznań-Dębiec). Ostatecznie spoczął na Cmentarzu Zasłużonych Wielkopolan** przy kościele św. Józefa na Wzgórzu św. Wojciecha w Poznaniu, co nastąpiło krótko po nadaniu temu cmantarzowi rangi nekropolii zasłużonych w roku 1948.