Rabbatts, 61, blev FA:s första kvinnliga icke verkställande direktör och styrelseledamot när hon utnämndes 2012.
I ett brev till FA:s ordförande Greg Clarke sa hon att hon fortfarande är "frustrerad över bristen på framsteg för BAME-tränare".
"Vi riskerar att förlora ännu en generation av före detta spelare och andra BAME-personer", tillade hon.
"Jag hoppas verkligen att du kommer att kunna göra verkliga önskan kände av så många att, som FA varumärket säger, Detta spel är för alla."
Förra månaden enades FA om en uppsättning reformer som inkluderade att öka antalet kvinnor i styrelsen. Förslagen syftar till att göra engelsk fotboll mer inkluderande, representativ och progressiv.
"Vi har gjort goda framsteg men det finns fortfarande mycket att göra", säger Rabbatts.
"Det har varit ett privilegium att tjäna som den första kvinnan av färg i styrelsen för FA."
I juli kommer FA:s styrelse att minska från 12 till 10 ledamöter, och från början av säsongen 2018-19 kommer tre ledamöter i styrelsen att vara kvinnor.
Rabbatts avgår också från sin position som ordförande för FA:s rådgivningsnämnd för inkludering, en roll hon haft sedan bildandet 2014.
Tidigare professionell fotbolls- och mångfaldskämpe Paul Elliott har utsetts till ordförande.
Clarke sade: "Heather har varit en instrumentalfigur för FA sedan han kom till oss för över fem år sedan. Hennes kunskap och erfarenhet under dessa år har varit ovärderlig.
– Hennes inverkan har varit betydande - senast har hennes stöd för att få de nya FA-reformerna ratificerade. Som ett resultat av detta kommer den engelska fotbollen att bli mer inkluderande och mångsidig än någonsin tidigare."
BBC sport nyheter korrespondent Richard Conway
Rabbatts var pionjär hos FA, men hon avgår efter fem år med en varning till den styrande kretsen om att det fortfarande finns arbete att utföra.
På ett praktiskt plan lämnar det FA med behovet av att rekrytera tre kvinnliga styrelseledamöter i tid till början av säsongen 2018-19. Detta beror på de krav på inkludering och mångfald som föreskrivs i den nyligen införda koden för sportstyrning.
På en mer grundläggande nivå vill Rabbatts att FA ska föregå med gott exempel när det gäller BME-tränare och chefer. Inte tillräckligt görs, menar hon, inom England lag sätta upp och hon fruktar att en generation av BME tränare kommer att förloras till spelet om inte förändringar görs. "Tangible action" snarare än bara stödjande ord är vad hon vill se.
Hon lämnar den nationella federationen efter att ha lämnat ett betydande bidrag till den engelska fotbollens väv - och har lagt fram en utmaning för dem som kommer att följa henne.
Dame Heather Rabbatts har meddelat att hon avgår från sin roll som icke verkställande direktör och styrelseledamot i Fotbollsföreningen.