Datorprogrammet, som är inspirerat av den mänskliga hjärnan, lärde sig att spela 49 klassiska Atari spel. På mer än hälften var det lika bra eller bättre än en professionell mänsklig spelare.
Forskare från Google DeepMind sade att detta var första gången ett system hade lärt sig hur man behärskar ett brett spektrum av komplexa uppgifter.
Studien publiceras i tidskriften Nature.
Dr Demis Hassabis, DeepMinds vice vd för ingenjörsvetenskap, sade: " Hittills har självlärande system bara använts för relativt enkla problem.
"För första gången har vi använt det i en perceptuellt rik miljö för att slutföra uppgifter som är mycket utmanande för människor."
Teknikföretagen investerar kraftigt i maskininlärning. Under 2014 köpte Google DeepMind Technologies för en rapporterad 400m.
Detta är inte första gången som en maskin har bemästrat komplexa spel.
IBM's Deep Blue - en schackspelande dator - slog världsmästaren Garry Kasparov i en match iscensatt 1997.
Men detta artificiella intelligens system var förprogrammerad med en typ av instruktionsbok som gav det den expertis det behövde för att excel på brädspelet.
Skillnaden med DeepMinds datorprogram, som företaget beskriver som en "agent", är att det är beväpnat endast med den mest grundläggande informationen innan det ges ett videospel att spela.
Doktor Hassabis förklarade: " Den enda information vi gav systemet var de råa pixlarna på skärmen och tanken att det måste få en hög poäng. Och allt annat måste den ta reda på av sig själv."
Teamet presenterade maskinen med 49 olika videospel, allt från klassiker som Space Invaders och Pong, till boxning och tennisspel och 3D-racing utmaningen Enduro.
I 29 av dem var det jämförbart med eller bättre än en människa spel testare. För video Pinball, Boxing och Breakout, dess prestanda långt överträffade professionella, men det kämpade med Pac-Man, Private Eye och Montezumas hämnd.
"På ansiktet det ser trivialt i den meningen att dessa är spel från 80-talet och du kan skriva lösningar till dessa spel ganska lätt," sade Dr Hassabis.
"Vad som inte är trivialt är att ha ett enda system som kan lära sig från pixlarna, som perceptuella ingångar, vad man ska göra.
"Samma system kan spela 49 olika spel från rutan utan någon förprogrammering. Du bokstavligen ge det ett nytt spel, en ny skärm och det kommer ut efter några timmars spel spela vad man ska göra. "
Forskningen är den senaste utvecklingen inom området "djupt lärande", som banar väg för smartare maskiner.
Forskare utvecklar datorprogram som, liksom den mänskliga hjärnan, kan utsättas för stora mängder data, till exempel bilder eller ljud, och sedan intuitivt extrahera användbar information eller mönster.
Exempel är maskiner som kan skanna miljontals bilder och förstå vad de tittar på: de kan berätta en katt är en katt, till exempel. Denna förmåga är avgörande för självkörande bilar, som behöver en medvetenhet om sin omgivning.
Eller maskiner som kan förstå mänskligt tal, som kan användas i sofistikerade röstigenkänningsprogram eller för system som översätter språk i realtid.
Doktor Hassabis sade: " En av de saker som håller tillbaka robotiken i våra dagar, i fabriker, i saker som äldrevårdsrobotar och i hushållsrengöringsrobotar, är att när dessa maskiner finns i den verkliga världen, måste de ta itu med det oväntade. Du kan inte förhandsprogrammera det med varje eventualitet som kan hända.
"På något sätt behöver dessa maskiner intelligens som är anpassningsbar och de måste kunna lära sig själva."
Somliga fruktar att det kan vara farligt att skapa datorer som kan överlista människor.
I december sade professor Stephen Hawking att utvecklingen av full artificiell intelligens "kan stava till slutet för mänskligheten".
Följ Rebecca på Twitter
En maskin har lärt sig att spela och vinna videospel, säger forskarna.