Efter två timmars samtal med president Vladimir Putin och utrikesminister Sergei Lavrov i Moskva sade han att "de två främsta kärnvapenmakterna inte kan ha detta förhållande".
Även om det fanns en viss "gemensam grund" på Syrien fanns det fortfarande "breda skillnader".
Lavrov sade att de två sidor som behövs för att övervinna "tid-bomb frågor" ärvde från Barack Obamas administration.
Spänningar har stigit sedan en misstänkt kemisk attack på den rebelliska syriska staden Khan Sheikhoun förra veckan som gjorde 89 människor döda.
USA och dess allierade skyllde på den syriska regeringen, och USA sköt 59 kryssningsmissiler vid Syriens Shayrat flygbas som svar.
Syrien vägrade att genomföra den kemiska attacken och har stöd av sin främsta allierade Ryssland, som på onsdag lade in veto mot ett förslag till FN:s säkerhetsråd som skulle ha krävt att Bashar al-Assads regering skulle samarbeta med utredare.
Det är åttonde gången Moskva använder sitt veto för att skydda Syrien.
Både Tillerson och Lavrov sade att diskussionerna var uppriktiga.
Tillerson sade: "Jag uttryckte åsikten att den nuvarande situationen för förbindelserna mellan USA och Ryssland är låg. Det finns ett lågt förtroende mellan våra två länder."
Han tillade: "Vi måste försöka få ett slut på denna stadiga förnedring, som inte gör någonting för att återställa förtroendet mellan våra två länder eller för att göra framsteg i de frågor som är av största vikt för oss båda."
Det var en uppfattning som upprepades av president Donald Trump senare, som sade vid en presskonferens med Natos generalsekreterare Jens Stoltenberg: "Vi kan vara på en all-time låg när det gäller vår relation med Ryssland."
Trump sa "det skulle vara en fantastisk sak" om nationerna förbättrade banden, men varnade "det kan vara precis tvärtom".
Lavrov sade att ett pragmatiskt samtal behövdes för att ta bort de "irritanter som staplades upp under Obama-administrationen".
Båda ministrarna sade att det fanns en överenskommelse om att arbeta mot ett stabilt och enat Syrien och om att besegra så kallade islamiska stater och andra terroristgrupper.
Båda gick med på att arbeta för en internationell utredning av den kemiska attacken.
Men det var uppenbart att det fanns många skillnader.
Tillerson sade att det fanns tydliga bevis för att den senaste kemiska attacken "planerades, leddes och avrättades av syriska regimstyrkor".
Han sade att Bashar al-Assads regering måste upphöra och att Trumps beskrivning av den syriska presidenten som "ett djur" var "en karakterisering som president Assad har gett sig själv".
Lavrov sade att det inte fanns några bevis för att Syrien låg bakom den kemiska attacken och pekade på den oro som hade förts till andra nationer när ledarna hade avlägsnats.
Det fanns inte mycket konkret att komma med från mötet, även om Putin gav Tillerson en publik - som hade ifrågasatts - ett mått av framgång.
Vladimir Putin sade att han var beredd att återupprätta luftfartsavtalet mellan USA och Ryssland om Syrien, och Tillerson sade att det skulle inrättas arbetsgrupper om mindre frågor.
Inför mötet sa Lavrov att Ryssland hade "många frågor om mycket tvetydiga och motsägelsefulla idéer som kom från Washington".
Efteråt sade han "vi förstår varandra bättre" och det fanns "många utsikter till samarbete med USA".
Han sade att det fanns "vissa tidsinställda frågor som ärvts från den tidigare administrationen - vi vet att vi måste övervinna dessa hinder och att amerikanerna också måste röra sig mot oss".
Tidigare avslöjade USA:s och Rysslands presidenter den stora klyftan mellan dem över Syrien.
Med hänvisning till Assad i en Fox Business Network intervju, Mr Trump sade: "Frankly, Putin stöder en person som verkligen är en ond person... om Ryssland inte gick in och tillbaka detta djur, du skulle inte ha ett problem just nu." Han kallade senare Assad för "slaktare".
I sitt tal i Mir-TV avvisade Vladimir Putin påståenden om att Syrien låg bakom den kemiska attacken och sade att Syrien hade gett upp sitt kemiska lager.
Han sade: " Var finns beviset för att syriska trupper använde kemiska vapen? Det finns inga."
Han hänvisade till USA:s flygstrejk och sade: "Men det var ett brott mot internationell rätt. Det är ett uppenbart faktum."
Och trots förhoppningar om att banden mellan USA och Ryssland skulle förbättras under ett Trump-ordförandeskap sade Vladimir Putin: "Man skulle kunna säga att förtroendet på en arbetsnivå, särskilt på militär nivå, inte har förbättrats utan snarare har försämrats."
USA:s utrikesminister Rex Tillerson säger att förbindelserna med Ryssland är låga och måste förbättras.