EU förväntas förnya sanktionerna inom några veckor.
Alexis Tsipras talade vid en gemensam nyhetskonferens i Aten med den ryske presidenten Vladimir Putin.
Vladimir Putin sade att det skulle bli "inga diskussioner" om Krim, den ukrainska halvön som greps av Kreml-stödda styrkor 2014, vilket skulle leda till sanktioner från EU och USA.
Området, som har en etnisk rysk majoritet, röstade senare för att ansluta sig till Ryssland i en folkomröstning som Ukraina och västländerna anser vara olaglig.
Hur Rysslands förbindelser med Europa har utvecklats
Tsipras sade till reportrarna: " Vi har upprepade gånger sagt att den onda cirkeln av militarisering, retorik under kalla kriget och sanktioner inte är produktiv. Lösningen är dialog."
Putin sade: "När det gäller Krim anser vi att denna fråga är avslutad för alltid. Ryssland kommer inte att föra några diskussioner med någon om detta ämne."
Putins besök i Grekland är ett försök att stärka förbindelserna med en av Rysslands vänner i Europa vid en tidpunkt då diplomatiska spänningar fortsätter mellan Ryssland och EU och USA, säger BBC:s Thomas Fessy i Aten.
Vladimir Putin sade också att Ryssland skulle tvingas reagera på USA:s åtgärder i Europa och varnade för att Washingtons missilsköldbaser i Rumänien och Polen utgör ett direkt hot mot landets säkerhet.
"Om i går i dessa områden i Rumänien människor helt enkelt inte visste vad det innebär att vara i hårkorset, då kommer vi i dag att vara tvungna att genomföra vissa åtgärder för att garantera vår säkerhet."
Tidigare denna månad aktiverade USA antimissilbasen i södra Rumänien. Basen i Polen förväntas vara i drift 2018.
USA säger att dess sköld är att skydda Nato-länderna från kort- och medeldistansmissiler, särskilt från Mellanöstern.
Den grekiske premiärministern har sagt att sanktioner som införts mot Ryssland för dess agerande i Ukraina inte är produktiva.