"Förtrösta på vårt folks värderingar och på vår förmåga att återuppbygga ekonomin", sade Temer.
Han har utsett ett affärsvänligt kabinett som inkluderar respekterad före detta centralbankschef Henrique Meirelles som finansminister.
Martine Rousseff fördömde hennes bortförande som en "fars" och "sabotage".
Peter Temer var vice ordförande för vänstern, Martine Rousseff, innan han drog tillbaka sitt partis stöd i mars. Hon har anklagat honom för inblandning i en "coup".
Efter onsdagens nattliga session som varade mer än 20 timmar röstade senatorerna med 55 röster mot 22 för att stänga av henne och ställa henne inför rätta för budgetkränkningar.
I sitt sista tal på torsdagseftermiddagen förnekade hon återigen anklagelserna och lovade att bekämpa vad hon kallade en "orättvisa" med alla lagliga medel.
Temer, 75 år, har nu tagit över som ordförande i upp till 180 dagar - den längsta tillåtna tiden för rättegången mot Martine Rousseff, 68.
Han sade: " Det är angeläget att återställa freden och förena Brasilien. Vi måste bilda en regering som kommer att rädda nationen."
Han betonade att "ekonomisk vitalitet" var hans viktigaste uppgift och tillade: "Det är viktigt att återuppbygga landets trovärdighet hemma och utomlands för att locka till sig nya investeringar och få ekonomin att växa igen."
Men han sade också att Brasilien fortfarande är en fattig nation och att han skulle skydda och utvidga sociala program.
"Låt oss sluta prata om kris. Låt oss arbeta istället, sa han.
Michel Temer blev tillförordnad ordförande så snart Rousseff blev avstängd.
Läs mer om Michel Temer här
Michel Temer sade också att han skulle stödja den omfattande utredningen av korruption på det statliga oljebolaget Petrobras som har invecklat många politiker och tjänstemän.
Temer har nominerat ett 22-starkt kabinett.
Det finns inga kvinnor, även om ytterligare två namn förväntas läggas till i kabinettet. Martine Rousseff hade tidigare föreslagit att sexismen i den mansdominerade kongressen hade spelat en viktig roll i åtalsförfarandet.
Meirelles, den nye finansministern, byggde upp ett rykte om att lugna nerverna på marknaderna när han ledde centralbanken, och hjälpte till att dämpa inflationen för att skapa en av landets största ekonomiska uppsving.
Men analytiker säger att Temers popularitetssiffror är lika dåliga som Rousseffs och han står inför många utmaningar.
Under debatten över natten sade senator Jose Serra, som har utsetts till ny utrikesminister, att riksrättsprocessen var "en bitter men nödvändig medicin".
"Att ha Rousseff regeringen fortsätter skulle vara en större tragedi," sade han.
Brasilien lider av sin värsta recession på 10 år, arbetslösheten nådde 9 % 2015 och inflationen är 12 år hög.
I sitt TV-tal, som åtföljdes av ministrar vid presidentpalatset, sade Martine Rousseff att hon kanske hade begått misstag men inte hade begått några brott och tillade: "Jag har inte brutit mot budgetlagstiftningen."
Hon sade: "Det som står på spel är respekt för valurnan, det brasilianska folkets suveräna vilja och konstitutionen."
Att markera processen "bedrägligt" och säga att hennes regering var "undergående sabotage", lovade hon att bekämpa anklagelserna mot henne och sade att hon var säker på att hon skulle hittas oskyldig.
Hennes avlägsnande slutar med 13 års vänsterstyre.
De 180 dagar som tilldelats för rättegången löper ut den 8 november.
Brasiliens nye interimspresident Michel Temer har talat till nationen efter att senaten har röstat för rättegången mot Dilma Rousseff.