Resolutionen är emellertid inte bindande, eftersom Nigeria och Senegal motsätter sig ett tillbakadragande.
Sydafrika och Burundi har redan beslutat att dra sig tillbaka och anklaga Internationella brottmålsdomstolen för att undergräva deras suveränitet och orättvist rikta in sig på afrikaner.
ICC förnekar anklagelsen och insisterar på att den ska skipa rättvisa åt offer för krigsförbrytelser i Afrika.
AU fattade beslutet på tisdagen efter en splittrande debatt vid sina årliga toppchefer i Addis Abeba.
En del av resolutionen sade också att AU skulle föra samtal med FN:s säkerhetsråd för att driva på för att Internationella brottmålsdomstolen ska reformeras.
Efter att ha diskuterats vid flera tidigare toppmöten, var detta ett enormt tillkännagivande som visar hur frustrerad AU var med den internationella domstolen. Men själva debatten visade hur splittrande hela frågan är.
Resolutionen är inte så stark som många som motsätter sig rätten skulle ha velat. Det uppmanar bara länderna att överväga hur beslutet skall genomföras, men de är inte bundna till det. Det är en seger för människorättsaktivister som insisterar på att domstolen fortfarande har en mycket viktig roll att spela på kontinenten där många länder har svaga rättssystem.
Resolutionen kräver också att de afrikanska länderna fortsätter att driva på för reformer av domstolen - ytterligare ett tydligt tecken på att det inte är ett så populärt beslut att dumpa domstolen i masse. Likna Sydafrika och Kenya, som har drivit på för att dra sig tillbaka, kommer att bli besvikna över att diskussionerna om att fullständigt bryta banden med ICC kommer att behöva vänta ytterligare sex månader till nästa toppmöte.
Sudans president Omar al-Bashir, som är efterlyst av domstolen för anklagelser om folkmord i Darfur, var på toppmötet.
Under 2015 kritiserade en sydafrikansk domstol president Jacob Zumas regering för att ha underlåtit att arrestera Bashir när han deltog i ett AU-möte i huvudstaden Johannesburg.
Regeringen meddelade senare att den skulle dra sig tillbaka från ICC eftersom den inte ville verkställa arresteringsorder som skulle leda till "regime förändring".
Sammanlagt 34 afrikanska stater har undertecknat Romstadgan, som inrättade Internationella brottmålsdomstolen.
Internationella brottmålsdomstolen och den globala rättvisan:
Vad gör ICC?
Afrikanska unionen har uppmanat medlemsstaterna att dra sig tillbaka från Internationella brottmålsdomstolen (ICC).