Because he was their dwelling, they did not want to get as close to the world as they could. Rather, they stayed as far away from it as possible.
כיוון שיהוה היה מעונם, הם לא רצו להתקרב לעולם קרוב ככל האפשר, אלא התרחקו ממנו עד כמה שניתן.