L'agrafia fonologica è legata a danni nelle aree del cervello coinvolte nella capacità di elaborazione fonologica (il suono delle parole), in particolare le aree linguistiche intorno alla fessura Silviana, come l'area di Broca, l'area di Wernicke, e la circonvoluzione sopramarginale.