Secondo me in offroad i distanziali sono assolutamente da evitare proprio per i problemi che hai notato, durezza di sterzo, sottosterzo, carreggiata più larga oltre che ad una precoce usura dei cuscinetti.
Personalmente toglierei anche quelli posteriori di distanziali.
Possono venirti buoni se hai previsione di fare un pò di sterrato veloce o asfalto (con un arctic??) poichè ti aiutano a compensare un pò la mancanza della barra antirollio, dandoti un pò più di stabilità in curva.