RIT Capital meddelade att det inte kommer att lägga ett formellt bud, efter att ha bekräftat rapporter förra veckan att det var i början av informella samtal om fusion.
Alliance Trust investerar nästan 3 miljarder pund i aktieägartillgångar.
Den kommer att fortsätta att möta en grundläggande översyn av vad den gör under sommaren.
Detta kan fortfarande leda till försäljning eller utkontraktering av investeringar till andra kapitalförvaltningsföretag. Och efter översynen är det fortfarande möjligt att ett avtal skulle kunna göras med RIT.
Men tillkännagivandet på tisdag tar Alliance Trust ut från aktiemarknadens formella förfaranden för övertagande och sammanslagningar och tillsyn av Takeover Panel.
Aktivistiska investerare tvingade förra året en strategiändring som syftade till att minska rabatten på företagets värde till underliggande tillgångar, vilket innebar att styrelsemedlemmar och verkställande direktör Katherine Garrett-Cox byttes ut.
I ett uttalande från RIT Capital sades det: "Efter noggrann analys och konstruktiva diskussioner med företrädare för Alliance Trust har RIT kommit fram till att det inte skulle ligga i aktieägarnas intresse att lägga ett erbjudande om Alliance Trust och meddelar därför att RIT inte har för avsikt att lägga ett erbjudande om att förvärva Alliance Trust.
"RIT:s styrelse respekterar den process som Alliance Trust går igenom och önskar dem lycka till med sin strategiska översyn."
Som svar sade Alliance Trust: "Styrelsen för Alliance Trust genomför en rad förändringar för att öka aktieägarvärdet. Denna process är på god väg och har redan börjat göra goda framsteg, sänka kostnaderna, minska rabatten och möjliggöra inrättandet av en helt oberoende styrelse.
"Denna utvecklingsprocess fortsätter och innefattar en strategisk översyn av gruppen, som omfattar ett brett spektrum av möjliga handlingsvägar."
Alliance Trust köpte aktier på börsen dagligen, som en del av sin strategi för att öka aktieägarvärdet. Dess tillkännagivande uppgav att praxis ska stoppas tills översynen är klar.
Talar om ett eventuellt övertagande av Alliance Trust i Dundee av tillgångsfonden kopplad till Rothschild bankdynastin har avblåsts.