Padre Iosif nasce nel villaggio di Elenin, governatorato della Volynija, da famiglia contadina. Nel 1925 conclude gli studi presso la facoltà di matematica e fisica dell’Università popolare di Kiev e insegna al politecnico di Kiev. Intanto frequenta, in segreto, il seminario clandestino organizzato in un appartamento a Kiev. Il 4 novembre 1928 è ordinato segretamente sacerdote di rito latino dal vescovo A. Maleckij nella chiesa di Santa Caterina a Leningrado.
Dal gennaio 1929 è coadiutore nella parrocchia di Fastov. Qui il 29 maggio dello stesso anno viene arrestato e inviato nella prigione di Belaja Cerkov’ e poi in quella di Kiev. Il 17 giugno è condannato a 10 anni di campo di concentramento. Il 26 maggio 1930 è rinchiuso nella prigione politica di isolamento di Jaroslavl’ e il 27 settembre 1933 è trasportato alle isole Solovki.
Nel settembre 1937 è arrestato e rinchiuso nella prigione del lager. Il 9 ottobre 1937 è condannato alla pena capitale e il 3 novembre 1937 padre Iosif Kovalskij viene fucilato a Sandormoch, presso Medvež’egorsk.