Skärmgrepp som visar webbplatsen med meddelanden från homosexuella aktivister sprids på sociala mediers webbplatser.
I ett, premiärministern ber alla homosexuella som bor i Uganda om ursäkt och ger sitt stöd till en gay stolthet marsch.
Homosexuella handlingar är olagliga i Uganda och homosexuella människor har utsatts för fysiska attacker och social avvisande.
Tidigare i år lades en kontroversiell lag mot homosexuella, som föreslår att straffen för homosexuella handlingar ska höjas från 14 års fängelse till livstid, fram på nytt i Ugandas parlament.
Lagförslaget infördes först 2009 men har aldrig diskuterats - och den ledamot av Europaparlamentet som stöder lagstiftningen säger att en klausul om dödsstraff kommer att strykas.
Det sades ursprungligen att de som befunnits skyldiga till "förvärrad homosexualitet" - definierat som när en av deltagarna är en minderårig, HIV-positiv, funktionshindrad eller en "seriell gärningsman" - skulle drabbas av dödsstraff.
Uganda Justice Law and Order Sector-webbplatsen uppges också ha tagits över av hackare den här veckan.
Ambrose Ruyooka, kommissionsledamot med ansvar för informationsteknologi, berättade för BBC att problemet nu hade rättats till.
Regeringen har skapat ett direktorat för säkerhet för alla statliga webbplatser och skärpt cyber lagar för att motverka ökande IT-brottslighet, sade han.
En aktivist som heter @DramaSett3r på Twitter sägs ligga bakom attackerna.
Operationerna utfördes av en grupp känd som The Elite Society och den Anonyma hacktivistgemenskapen, säger aktivisten.
På onsdag, den officiella hemsidan av premiärminister Amama Mbabazi citerade honom som säger: "Vi har att utesluta den trångsynthet från detta land, och börja på nytt, börjar med en fullständig och formell ursäkt till alla homosexuella som bor i Uganda idag," skärm grepp på Twitter och Facebook show.
Ett meddelande som påstås ha hackare på premiärministerns webbplats på tisdagen sade: "Dina kränkningar av rättigheterna för HBTQ [lesbiska, homosexuella, bisexuella och transgender] människor har äcklat oss.
"Alla människor har rätt att leva i värdighet fri från förtryck av någon annans politiska och religiösa övertygelse."
Den östafrikanska nationen är ett i stort sett konservativt samhälle och många fördömer homosexualitet både som oafrikansk och okristen.
Västliga givare har nyligen sagt att de kan dra tillbaka stöd från dessa länder, däribland många i Afrika, som inte erkänner homosexuellas rättigheter.
Den ugandiska premiärministerns hemsida attackerades av hackare på tisdag och onsdag, en regeringstjänsteman har bekräftat till BBC.