Spurs ordförande Daniel Levy denna vecka försvarade en brist på signeringar och räckt mot "ohållbara" utgifter.
De var löpare upp till Chelsea i Premier League förra terminen, vacklade i Champions League grupp stadier, och återigen i Europa League sista 32.
"Om [Spurs] inte vinna titeln, det är inte en tragedi," sade Conte.
"Om de inte kommer in i Champions League, är det inte en tragedi. Om de går ut i första omgången av Champions League, är det inte en tragedi. Om de går ut efter första matchen som de spelar i Europa League, är det inte en tragedi.
"Kanske för Chelsea, Arsenal, Manchester City, Manchester United och - jag vet inte - Liverpool, det är en tragedi. Du måste förstå lagets status.
"Varje lag måste förstå vad deras ambitioner är. Om deras ambitioner är att kämpa för titeln eller vinna Champions League, måste du köpa dyra spelare. Annars fortsätter du att stanna på din nivå. Det är enkelt."
"Min fråga är: Vad är Tottenhams förväntningar?"
Efter att ha avslutat andra i Premier League förra säsongen, Spurs har inte lagt till sin trupp under sommaren.
Deras enda överföringsverksamhet har sålt England tillbaka Kyle Walker till rivaler Manchester City för £ 45m.
"Vi har en skyldighet att hantera klubben på lämpligt sätt", sade Levy.
Den senaste historien tyder på att det kan dröja ett tag innan Levy gör sitt drag, med de flesta av Spurs inkommande affärer slutförda i augusti under de senaste säsongerna.
I augusti betalade de Newcastle £ 30m för mittfältaren Moussa Sissoko i de sista timmarna av fönstret, efter att ha undertecknat £ 9m ytter Georges-Kevin Nkoudou och låne målvakten Pau Lopez tidigare på dagen.
Under tidigare säsonger, framåt Son Heung-min (22 miljoner pund), mittfältaren Erik Lamela (25,7 miljoner pund), målvakt Hugo Lloris (11,8 miljoner pund) och framåt Clint Dempsey (6 miljoner pund) gick alla med i klubben under de sista dagarna och timmarna av överföringsfönster.
Mer än £ 850m har spenderats av Premier League sidor hittills i sommar överföringsfönstret, som stänger den 31 augusti, med bokföringsfirma Deloitte förutsäga topp-flight klubbar kommer att överträffa rekord £ 1,165 miljarder de spenderade förra sommaren.
Chelsea har separerat med ca £130m för tre spelare - framåt Alvaro Morata från Real Madrid, mittfälter Tiemoue Bakayoko från Monaco och försvarare Antonio Rudiger från Roma.
Conte avslöjade Chelsea "försökte köpa" Walker och erkände att marknaden för närvarande är "mycket svårt", tillägger: "Jag tror nu att varje enskild spelare är dyrt."
Conte sa också att Spurs och England anfallare Harry Kane skulle vara hans första val om han kunde underteckna någon framåt. Kane har slutat som Premier Leagues bästa målskytt för de senaste två säsongerna.
"Tottenham är en riktigt bra trupp om de kan hålla alla spelare," Conte sade. "För mig, Kane, är nu en av de bästa strejkarna i världen.
"Om jag var tvungen att köpa en anfallare skulle jag åka till Kane. Han är en total strejkare. Han är stark fysiskt, med bollen, utan bollen, han slåss och han är stark i luften och akrobat till höger och vänster.
"Om du går för att köpa Kane nu skulle det vara minst 100 miljoner pund."
Chelsea manager Antonio Conte har ifrågasatt Tottenham ambition, tyder på att de har lägre förväntningar än sina Premier League titel rivaler.