У 1938 годзе быў накіраваны на вучобу ў Рым, аднак распачалася Другая сусветная вайна і святар вярнуўся ў Беларусь. Працаваў вікарыем у Слабодцы на Браслаўшчыне.
Быў пробашчам у парафіях Порплішча і Удзела. Паколькі яго брат Казімір Грабоўскі за актыўны ўдзел у дзейнасці Арміі Краёвай знаходзіўся ў сталенскім лагеры, то і за ксяндзом Янам пільна сачылі агенты дзяржбяспекі. Пад пагрозай зняволення ў 1947 годзе святар пераязджае на душпастырскую дзейнасць у Германавічы, аднак 18 кастрычніка 1949 года ён быў арыштаваны.
Спачатку знаходзіўся ў Глыбокім, а потым быў пераведзены ў Полацк. Асуджаны Полацкім абласным судом на 25 гадоў лагерных работ з канфіскацыяй маёмасці і пазбаўлення правоў. Этапаваны ва Унжэнскі лагер (станцыя Сухабязводная), дзе працаваў на нарыхтоўцы лесу і вырабе цэглы.
Ванда Грабоўская, пляменніца святара, успамінае: "Ксёндз Ян няшмат расказваў пра перыяд знаходжання ў лагеры. Аднак яго ўспаміны не абмяжоўваліся апісаннем складаных умоў жыцця і працы, наадварот, былі прасякнуты словамі ўдзячнасці за падтрымку тым, хто быў побач. Хоць ксёндз Ян быў асуджаны па палітычных артыкулах, ён знаходзіўся ў лагеры разам са зняволенымі, якія ўчынілі крымінальныя злачынствы, тым не менш асуджанныя з павагай ставіліся да святара. Звярталіся да яго — айцец. Часам дзяліліся сваімі жыццёвымі гісторыямі, прасілі даць параду. Калі трэба было выконваць нейкую вельмі цяжкую і складаную працу, часта казалі яму: "Айцец, вы лепш адпачніце і памаліцеся за нас, а мы ўсё зробім".
З'яўляючыся прадстаўніком інтэлегенцыі, ксёндз Ян стараўся выконваць свае абавязкі нароўні з іншымі. Але неяк так здаралася, што рабочыя рукавіцы, якія выдавалі на пэўны перыяд, вельмі хутка сціраліся да дзір. І тады здараўся "цуд": раніцой каля яго ложка ляжалі новыя. Адкуль яны браліся невядома, аднак было гэта неаднойчы. Знаходзячыся доўгі час у лагеры, святар вывучыў мову "блатных". Стараўся ёй не карыстацца, але разумеў яе даволі добра.
Расказваючы такія гісторыі пра лагернае жыццё, якія здаваліся нам неверагоднымі, святар не казаў, што ў лагеры было ўсё добра і не было ніякіх непаразуменняў. Ён толькі хацеў падкрэсліць, што не ўсе людзі, якія трапілі за краты за ўчыненыя імі злачынствы, страцілі сваю чалавечую годнасць і веру ў Бога."
Падчас "хрушчоўскай адлігі" ксяндзу Яну зменшылі тэрмін спачатку да 15 гадоў, а потым цалкам адмянілі. 18 чэрвеня 1956 года святар быў вызвалены.