Bemba, 53 år, anklagades för att ha underlåtit att hindra sina rebeller från att döda och våldta människor i grannlandet Centralafrikanska republiken (CAR) under 2002 och 2003.
Han hade skickat mer än 1.000 soldater för att hjälpa till med ett försök till statskupp.
Bemba, som en gång var vice president i Demokratiska republiken Kongo, kommer att sitta häktad tills han dömts.
Domstolen i Haag fann honom skyldig till flera anklagelser, däribland våldtäkt och mord. Han förväntas överklaga.
Det är första gången ICC fokuserar på våldtäkt som ett krigsvapen, och första gången en misstänkt har dömts för brott som begåtts av andra under hans befäl.
Att Bemba dömdes för sexuellt våld är betydelsefullt. Många kongolesiska misstänkta har anklagats för sådana brott, men detta är den första fällande domen.
Hans fällande dom gällde brott som begåtts i Centralafrikanska republiken, men den kommer att sända budskapet till högt uppsatta soldater och miliser i Demokratiska republiken Kongo, där sexuellt våld är vanligt förekommande, att de är ansvariga för att förhindra det.
Men i Kongo har Jean-Pierre Bemba fortfarande stor popularitet.
Ledamöterna i hans oppositionsparti hade hoppats att han skulle släppas i tid för att hållas i nästa presidentval, som är planerat till slutet av detta år.
ICC:s chefsåklagare Fatou Bensouda välkomnade domen och sade: " Även om brottens verklighet är skrämmande, är innebörden av detta beslut att fira.
"Det här beslutet bekräftar att befälhavare är ansvariga för de styrkors handlingar under deras kontroll."
Carrie Comer, från International Federation for Human Rights, sade att domen var "ett historiskt ögonblick för offer för sådana outsägliga grymheter".
Det var "ett starkt budskap från ICC-domare att befälhavare måste förebygga och bestraffa krigsförbrytelser", skrev hon på Twitter.
Det påstås att Bemba's Movement for the Liberation of Congo (MLC) under fem månader dödade hundratals civila, våldtog kvinnor och plundrade.
Domstolen hörde fruktansvärda redogörelser, bland annat hur en man, hans fru, hans döttrar och hans barnbarn alla våldtogs av miliser.
Vem är Jean-Pierre Bemba?
Typ: Jean-Pierre Bemba
Mer om DR Kongo
Bembas advokater hävdade att när trupperna hade korsat gränsen stod de inte längre under hans befäl, utan under den dåvarande CAR-presidenten Ange-Felix Patasse.
Men den presiderande domaren slog fast att Bemba hade effektiv kontroll över trupperna och därför var "brottsligt ansvarig".
Bemba ledde MLC under Demokratiska republiken Kongos brutala inbördeskrig. Han är son till en framstående affärsman och en före detta assistent till före detta president Mobutu Sese Seko.
Efter ett fredsavtal i Demokratiska republiken Kongo 2003 lade han ned sina vapen och anslöt sig till en interimsregering.
Bemba är den mest högt uppsatta person som står inför domen vid domstolen och endast den tredje person som dömts sedan domstolen grundades 2002.
Germain Katanga och Thomas Lubanga, båda kongolesiska före detta krigsherrar, har tidigare befunnits skyldiga till brott.
Vad innebär denna dom för ICC?
Detta är en sällsynt framgång för en belägrad institution. Det är domstolens första dom för våldtäkt som krigsförbrytelse och fastställer principen att befälhavare är ansvariga för sina underordnades handlingar.
Varför har det funnits så få övertygelser?
Fallen är ofta komplicerade och därför tar det lång tid att gå igenom bevisen. Det finns också logistiska problem som att ta med sig vittnen från avlägsna områden och organisera översättare. Men vissa fall har kollapsat, framför allt Kenyas president Uhuru Kenyatta.
Varför är de flesta av dess fall i Afrika?
Detta är en fråga som afrikanska ledare ofta har ställt - de säger att de många afrikanska fallen är bevis på diskriminering. Kritiker säger att ledare som Kenyatta och Sudans Omar al-Bashir har använt anklagelser om partiskhet som en rökridå för att undvika rättvisa. En före detta president, Elfenbenskustens Laurent Gbagbo, står åtalad för krigsförbrytelser. Och ICC utreder icke-afrikanska fall.
Vad är Internationella brottmålsdomstolen?
Tidigare kongolesisk rebellledare Jean-Pierre Bemba har befunnits skyldig till krigsförbrytelser i en avgörande rättegång vid Internationella brottmålsdomstolen (ICC).