החל משנת 1942 היה פעיל במתן סיוע לפליטים יהודים שעברו מסלובקיה להונגריה. מיקומה הגיאוגרפי של ארשקאויוואר, כשנים־עשר קילומטרים מהגבול בצד ההונגרי, הציב אותו ואת חבריו בעמדה מרכזית במבצע של גנבת הגבול. לעתים נאלצו הפליטים לשהות יום־יומיים בעיר והיה צורך להלינם ולדאוג לכל צורכיהם עד שהמשיכו בדרכם. הקהילה היהודית המקומית הסתייגה מפעולת הצלה זאת – מפחד השלטונות. יוסף נתפס על ידי המשטרה, הוכה, הוזהר לבל ימשיך בפעילותו ושוחרר.
בסוף שנת 1943 נשלח לעיר קולוז׳וואר (Kolozsvár; Cluj), בה שהה ארבעה חודשים. בזמן שהותו בעיר פתח את מועדון ׳השומר הצעיר׳ שבו היו כשלושים חברים. ב־20.3.1944, יום לאחר כניסת הגרמנים להונגריה, הוזהר על ידי שליח שבא מבודפשט שלא לקיים פעילות גלויה של התנועה. החליט לשוב לעיר הולדתו אל הוריו, שהה אצלם שבועות אחדים, וראה אותם מוכנסים לגטו (ממנו נשלחו למחנה השמדה). קיבל צו גיוס לפלוגה לעבודת כפייה, התגייס, אולם כעבור זמן קצר ברח, בעזרת שליח מן התנועה שהופיע במחנה ועמו תעודות מזויפות וכסף. הוא הגיע ל׳בית הזכוכית׳ בבודפשט, שם קיבל את פניו רפי פרידל (בנשלום). כבר למחרת הגיעו לבודפשט קיבל תעודות מתאימות וכסף, ממשה פיל (אלפן), שליווה אותו לתחנת הרכבת, בדרכו לעיר נאג׳ווארד; אוראדה (Nagyvárad; Oradea), בגבול רומניה. עשרה חברים, ובתוכם יוסף, עברו את הגבול והגיעו לבוקרשט, בה שהה שלושה חודשים עד עלייתו לארץ באוקטובר 1944. כאן הצטרף לקיבוץ ארצישראלי ו׳ של השומר הצעיר, לימים עין דור.
