Ibrox klubben öppnade sitt Premiership konto med en seger på Moderwell och följde upp det med en 6-0 dunfermline i League Cup.
"Det är alltid viktigt att bygga vidare på att vinna. De tror på sig själva som ett lag," Caixinha sade inför Hibs besök på lördag.
"Jag är en kille som jagar perfektion, men när jag får det vill jag ha mer."
Alfredo Morelos nettade två gånger i rivningen av Dunfermline, med Bruno Alves och Daniel Candeias också poäng jungfru Rangers mål i en ensidig tävling.
"En av de största delarna av fotboll är njutning," tillade Caixinha. "Jag kände mig fri från laget. Det tidiga andra målet hjälpte, men spelarna arbetade hårt för att få det.
"Det är bara en bra början. Vi vill ha mer. Vi vill fortsätta framåt.
"Jag tror att du behöver vara fokuserad hela tiden, med en stark mentalitet och laganda.
"Pojkarna mår bra, men vi har en lång resa framför oss."
Rangers och Hibs senast möttes i toppflyget 2012, medan den senaste tävlingen kom i 2016 skotska Cup-finalen.
En stoppage-time header från David Gray gav Hibs en dramatisk 3-2 seger på Hampden men Caixinha insisterar på att han inte är intresserad av att använda tidigare smärta som en motivation.
"Fotboll är ett ögonblick, det finns inga två matcher spelas på samma sätt," förklarade han.
"Tävlingen är annorlunda, vad som skulle kämpas för är helt annorlunda, så vi vill bara fokusera på de tre punkter som vi vill ta, det är allt.
"Min önskan är att förbereda laget, återhämta spelarna och göra dem redo för en stark start på 3:00 på lördag."
Under tiden avslöjade Rangers manager att klubbkapten Lee Wallace kommer att ha en scan på en benskada.
Lee Hodson blev inkallad som en sen ersättare för onsdagens seger över Dunfermline på Ibrox.
Pedro Caixinha har uppmanat sina Rangers spelare att fortsätta sin vinnande start på säsongen mot Hibernian.