Urodził się 24 listopada 1861 roku w Kamieńcu (obecnie Kamieniec Podolski). Ukończył IV Gimnazjum we Lwowie (1880). Studiował filologię klasyczną i polską na Uniwersytecie Jagiellońskim (1880–1884), był studentem Stanisława Kostki Tarnowskiego (1837–1917), Lucjana Malinowskiego (1839–1898), Maksymiliana Iskrzyckiego (1837–1891) oraz Kazimierza Morawskiego (1852–1925). Dzięki otrzymaniu państwowego stypendium cesarza Franciszka Józefa kontynuował naukę na uniwersytetach w Lipsku i Monachium (1884–1885), a także w Paryżu (1886). W tym okresie odbył podróże naukowe do Bazylei i Rzymu, gdzie prowadził kwerendę archiwalną. W 1884 roku obronił pracę doktorską na Uniwersytecie Jagiellońskim na temat „Odprawa posłów greckich” Jana Kochanowskiego, jej wzory, geneza. W lipcu 1887 roku uzyskał habilitację na tym samym uniwersytecie na temat Czwarta część „Dziadów” Adama Mickiewicza. Studium porównawcze. Po habilitacji przez dwa semestry w 1888 roku pracował jako docent na Uniwersytecie Jagiellońskim, a w 1889 roku, z polecenia Tarnowskiego, został zaproszony do pracy na Uniwersytecie we Fryburgu w Szwajcarii. W latach 1889–1901 był profesorem Katedry Języków i Literatur Słowiańskich we Fryburgu. W 1901 roku, na zaproszenie Adama Krasińskiego (1870–1909), przeniósł się do Warszawy, gdzie przez kolejne trzy lata (1901–1904) pełnił funkcję dyrektora Biblioteki Ordynacji Krasińskich.

W 1904 roku podjął pracę na Uniwersytecie Lwowskim, gdzie stanął na czele katedry, którą przed nim kierował Piotr Chmielowski (1848–1904). Na Uniwersytecie Lwowskim w latach 1904–1914, a następnie w latach 1916–1919 kierował Katedrą Historii Literatury Polskiej. W roku akademickim 1907/1908 pełnił funkcję dziekana Wydziału Filozoficznego Uniwersytetu Lwowskiego. W latach 1915–1919 był profesorem zwyczajnym Uniwersytetu Warszawskiego, a w latach 1919–1922 – profesorem zwyczajnym Uniwersytetu Wileńskiego. Na Uniwersytecie Wileńskim został pierwszym dziekanem Wydziału Humanistycznego.

Zainteresowania naukowe Kallenbacha dotyczyły twórczości Adama Mickiewicza oraz literatury polskiej XVI–XIX wieku. Zajmował się przede wszystkim twórczością Piotra Skargi, Aleksandra Fredry, Henryka Sienkiewicza. Wprowadził do obiegu naukowego znaczną liczbę dokumentów archiwalnych związanych z wileńskim okresem życia Mickiewicza. Do jego najważniejszych prac należą: Adam Mickiewicz (Kraków, 1897), Zygmunt Krasiński. Życie i twórczość lat młodych (1812–1838) (Lwów, 1904), Czasy i ludzie (Warszawa, 1905), O nieznanych utworach Mickiewicza (Lwów, 1909), Poezja w latach 1800–1863 (Kraków, 1918), Towianizm na tle historycznym. Stosunek Towiańskiego do Proroka (Kraków, 1922). Wydał siedem tomów dzieł Mickiewicza (A. Mickiewicz. Pisma. T. 1–7, wyd. Józef Kallenbach. Brody, 1911), a także dwa tomy listów Krasińskiego do Cieszkowskiego (Listy Zygmunta Krasińskiego do Augusta Cieszkowskiego. T. 1–2, wyd. Józef Kallenbach. Warszawa, 1912).

Był przewodniczącym Towarzystwa Literackiego im. A. Mickiewicza (1908–1918) oraz Polskiego Towarzystwa Ludoznawczego we Lwowie (1905–1909). W 1906 roku pełnił funkcję redaktora czasopisma „Lud”, organu Polskiego Towarzystwa Ludoznawczego.

Wśród uczniów Kallenbacha na Uniwersytecie Lwowskim byli poloniści Juliusz Kleiner (1886–1957) i Karol Badecki (1886–1953), a także przyszły dziennikarz i literat Stanisław Wasylewski (1885–1953).

Zmarł 12 września 1929 roku w Krakowie, gdzie początkowo został pochowany. W 1931 roku grób uczonego przeniesiono na Cmentarz Łyczakowski we Lwowie.