Han talade vid invigningen av den palestinska ambassaden till Heliga stolen, efter att ha träffat påven Francis.
Vatikanen erkände det palestinska statsbildningen för ett och ett halvt år sedan.
Jerusalems status är en av de känsligaste och mest komplicerade frågorna i hela Mellanösternkonflikten.
Palestinierna betraktar östra Jerusalem som huvudstad i sin framtida stat, men Israel förkunnar hela staden som sin huvudstad.
På söndagen är Frankrike värd för en internationell konferens i Paris för att försöka starta fredssamtal mellan de två sidorna.
Kan toppmötet i Paris rädda en tvåstatslösning?
Kan den judiska bosättningsfrågan lösas?
Påven har upprepade gånger stött åtgärder för att återuppta fredsprocessen.
Förbindelserna mellan Heliga stolen och de palestinska territorierna uppgraderades 2015 genom undertecknandet av ett fördrag om erkännande av det palestinska statsskicket - ett drag som förargade Israel.
Palestinierna - och israelerna - är engagerade i ett ständigt sökande efter allierade. Officiellt erkännande från påven är ett betydande pris. Israel har redan en ambassad till Heliga stolen. Nu har den palestinska ledaren Mahmoud Abbas öppnat den nya palestinska ambassaden.
Påven Francis själv har spelat en roll i konflikten mellan israelerna och palestinierna. Under 2014 besökte han Israel och den palestinska Västbanken. I den palestinska staden Betlehem stannade han till och med för att be framför Israels separationsbarriär. Det är en symbol för skydd för israeler - men för ockupation för palestinier.
Senare samma år inbjöd påven de israeliska och palestinska presidenterna att komma till Rom för att be om fred. Nu har varje sida sin egen permanenta officiella röst i Vatikanen.
Israeliska relationer med Vatikanen ansträngdes ytterligare efter att påven Francis beskrev president Abbas som "en fredsängel" under kanoniseringsceremonin av två palestinska nunnor i Vatikanen 2015.
På lördagen upprepade president Abbas sin oro över den valda presidenten Trumps plan att flytta den amerikanska ambassaden från Tel Aviv till Jerusalem och sade att han hade skrivit till Mr Trump för att varna honom för riskerna med ett sådant drag.
"Om detta är beslutet, att överföra ambassaden till Jerusalem, det kommer inte att hjälpa fred och vi hoppas att det inte händer," President Abbas berättade reportrar utanför Vatikanen.
Palestinska tjänstemän säger att planen skulle undergräva chanserna till en förhandlad fred baserad på en tvåstatslösning, där palestinska och israeliska stater skulle leva sida vid sida.
"Inte bara skulle detta drag beröva Förenta staterna all legitimitet i att spela en roll i konfliktlösning, det skulle också förstöra tvåstatslösningen," Mr Abbas citerades tidigare som säger i franska tidningen Le Figaro.
Han sade också att palestinier kan överväga att "återvända erkännande" av Israel om Mr Trump går vidare med flytten.
Israel och Palestinska befrielseorganisationen (PLO) erkände varandra enligt 1993 års Osloavtal.
Söndagens samtal i Paris, som omfattar omkring 70 länder, är att diskutera fred i regionen och upprepa stödet för tvåstatslösningen.
Frankrikes president Francois Hollande har bjudit in president Abbas och Israels premiärminister Benjamin Netanyahu till Paris för att diskutera resultatet av konferensen.
Netanyahu, som inte planerar att närvara, sade på torsdag: "Det är en riggad konferens, riggad av palestinierna med fransk ledning för att anta ytterligare antiisraelska ställningstaganden. Detta driver freden bakåt."
Spänningarna mellan Israel och det internationella samfundet höjdes förra månaden efter det att FN antog en resolution som fördömde Israels bosättningsverksamhet på ockuperad mark.
Omkring 500.000 judar lever i omkring 140 bosättningar som byggts sedan Israels ockupation av Västbanken och östra Jerusalem 1967. Bosättningarna betraktas som olagliga enligt internationell rätt, även om Israel bestrider detta.
Palestinsk ledare Mahmoud Abbas har varnat för att fred kan bli lidande om den tillträdande presidenten Donald Trump genomför planer på att flytta USA:s ambassad i Israel från Tel Aviv till Jerusalem.