Ia berimigrasi tanpa keluarganya ke Palestina Utsmaniyah pada permulaan 1891 dan tak lama setelah itu menikahi putri dari Rabbi Naftali Herz Halevy, Kepala Rabi Jaffa. Pada 1894 (atau akhir 1893), ia pindah ke YJerusalem, tetapi kembali ke Jaffa pada sekitar 1897.
HaLevy kemudian diangkat menjadi kepala (Av Beit Din) Dewan Rabbinikal Tel Aviv.