Hartoni një eksperiment për të testuar aftësinë e modeleve GPT për të kuptuar gjuhën natyrore.
Eksperimenti duhet të përfshijë dhënien e modeleve GPT të një sërë detyrash të gjuhës natyrore dhe vlerësimin e performancës së tyre. Këto detyra mund të përfshijnë klasifikimin, gjenerimin e hapur, të kuptuarit dhe redaktimin. Detyrat duhet të përfshijnë një përzierje pyetjesh me përgjigje të shkurtra dhe pyetje të stilit ese me nivele të ndryshme kompleksiteti. Shembuj të detyrave të mundshme mund të përfshijnë: përkthimin e një fjalie, rishkrimin e një fjalie për ta bërë atë të saktë gramatikisht, gjenerimin e një përshkrimi për një figurë ose përgjigjen e një pyetjeje me zgjedhje të shumëfishta për një fragment të caktuar. Detyrat duhet të dizajnohen në mënyrë që prodhimi i modeleve GPT të jetë lehtësisht i përcaktueshëm. Vlerësimi duhet të marrë parasysh edhe aspekte të tjera si rrjedhshmëria, lexueshmëria dhe korrektësia gramatikore.