Al contrario di quanto è solito pensare, nella maggior parte dei casi il ritardo mentale appartiene ad una categoria definita "ritardo familiare", ovvero non dipendente da deficit biologico bensì da una storia di ritardo in famiglia. In questi casi rimane impossibile determinare se il ritardo sia dovuto a cause ambientali (per esempio una situazione di povertà continua che porta alla malnutrizione) oppure se dipenda da un vero e proprio fattore genetico.