Han har skrivit till den parlamentariska talaren och kritiserat henne för att ha godkänt det i december utan beslutförhet.
Homosexuella var "onormala" eller var så av "legalistiska skäl" och kunde "räddas", en lokal tidning citerar sitt brev som säger.
Lagförslaget föreskriver livstids fängelse för homosexuella handlingar och gör det också till ett brott att inte anmäla homosexuella människor.
Att främja homosexualitet - till och med att tala om det utan att fördöma livsstilen - skulle också vara straffbart med ett fängelsestraff.
BBC:s Catherine Byaruhanga i huvudstaden, Kampala, säger att presidenten är medveten om att om han skriver under lagförslaget kommer det att bli ett internationellt skrik, som skulle kunna se vissa länder avbryta biståndet till landet.
Hans talesman berättade för nyhetsbyrån AFP att Museveni anser att homosexuella människor är sjuka, men det betyder inte att de ska dödas eller fängslas för livet.
"Det presidenten säger är att vi inte ska förfölja dessa homosexuella och lesbiska. Det är poängen", sade Tamale Mirudi.
Av Catherine ByaruhangaBBC i Uganda
Uganda har redan lagstiftning som förbjuder homosexuellt sex, särskilt mellan män, lesbiskhet ansågs inte enligt en bestämmelse i 1950 års strafflag. Den nya lagen skulle innebära att kvinnligt till kvinnligt kön läggs till förbjudna metoder.
Strafflagen gjorde det heller aldrig till ett brott för någon att identifiera sig själv som homosexuell. Det var lagen som var olaglig. Gayaktivister har kunnat förklara sin sexualitet offentligt och förespråka sina rättigheter utan att bli åtalade.
Detta, ansåg lagstiftare, hotade Ugandas kultur och familjestruktur, kretsade kring äktenskapet mellan en man och en kvinna.
Det har varit en strid här, väl tillfångatagen i internationella medier, mellan homosexuella aktivister och evangeliska kristna om homosexualitetens rättigheter och fel.
Så vad parlamentsledamöter försöker göra är att skapa "idén" av homosexualitet i lagen. När du anger att homosexualitet är fel, du sedan förbjuda dess främjande.
Om lagen antas skulle det bli olagligt att stå upp och säga "jag är bög".
Medborgarna skulle också vara tvungna att anmäla alla som de tror är gay till polisen. Och det skulle vara olagligt att tillhandahålla rådgivning till homosexuella.
Han förnekade att presidenten hade ändrat sig under press.
"Presidentens position har varit densamma under lång tid, ingenting har förändrats", tillade han.
Vår reporter säger att Museveni försöker nå en kompromiss med parlamentsledamöter, för om han vägrar att underteckna lagförslaget kan parlamentet fortfarande tvinga igenom det med två tredjedelars omröstning.
Men i motsats till Nigeria, där presidenten tidigare denna månad undertecknade ett lagförslag som förbjuder samkönade äktenskap, homosexuella grupper och visar samma kön offentlig tillgivenhet, är Museveni politiskt stark och så mer kapabel att motstå påtryckningar från konservativa grupper, säger hon.
Museveni sade att lagförslaget tvingades igenom trots hans råd att shelve det tills regeringen hade studerat det på djupet, Ugandas privata Monitor tidning rapporter.
"Även med lagstiftning, de kommer helt enkelt att gå under jorden och fortsätta att utöva [sic] homosexualitet eller lesbiskism av legosoldat skäl," han citeras som säger.
Presidentens åttasidiga brev till talaren Rebecca Kadaga sa att de kunde "räddas" genom att förbättra ekonomin.
Han ifrågasatte också uppfattningen att homosexualitet kan beskrivas som en "alternativ sexuell läggning".
"Man kan inte kalla en abnormitet en alternativ inriktning. Det kan vara så att de västerländska samhällena, på grund av slumpmässig avel, har genererat många onormala människor," sade han.
Han sa att en annan orsak till att kvinnor blev lesbiska var på grund av "sexuell svält" när de inte gifte sig, rapporterar Monitor.
Ugandas gayrättsaktivist Pepe Julian Onziema berättade för BBC:s program Fokus på Afrika att han hade blandade känslor för Musevenis kommentarer.
"Han samtycker inte till lagförslaget gör oss lyckliga men han kallar oss 'onormala', 'inget-görare','sexuellt utsvultna', det är så nedsättande", sade han.
"Det uppmuntrar samhället att attackera människor som mig."
Det är tänkt att vara en caucus möte av styrande parti parlamentsledamöter senare denna månad för att diskutera lagförslaget.
Regeringen kommer att försöka övertala dem att förkasta det, men vissa har redan sagt att de skulle gå emot deras regering, säger vår korrespondent.
Människorättsaktivister säger att lagförslaget belyser intoleransen och diskrimineringen som homosexuella möter i Uganda.
En homoaktivist dödades 2011, även om polisen förnekade att han var måltavla på grund av sin sexualitet.
Lagförslaget har fördömts av världens ledare sedan det vreds 2009 - USA: s president Barack Obama kallade det "okunnig".
Privatmedlemmens lagförslag föreslog ursprungligen dödsstraff för vissa brott, till exempel om en minderårig var inblandad eller gärningsmannen var hiv-positiv, men denna klausul har tagits bort.
Rättning 19 januari: En tidigare version av denna berättelse refererade till Pepe Julian Onziema som kvinna. BBC beklagar alla brott.
Ugandas president Yoweri Museveni har vägrat att godkänna ett kontroversiellt lagförslag för att skärpa straffen för homosexuella.