Paret, som var 24 och 25 år, arresterades i en razzia i den västra förorten Fairfield på tisdagen.
Detaljer om den påstådda tomten är inte kända, men polisen säger att en jaktkniv, en Islamic State (IS) flagga och en video som beskriver en attack beslagtogs.
Australien, som har anslutit sig till koalitionskampen mot IS i Irak, höjde sin inhemska terrorvarning förra året.
Flytten var ett svar på den växande oron över effekterna av militanta konflikter i Irak och Syrien.
Sydney är också på alert efter en belägring på ett café i staden i december som lämnade två gisslan och skytten död.
Premiärminister Tony Abbott sade att de senaste arresteringarna var ett tecken på att IS "dödskulten" var "att nå ut över hela världen, även här i Australien, och tyvärr finns det människor i detta land som är mottagliga för dessa anstiftan till extremism och till och med terrorism".
New South Wales biträdande polischef Catherine Burn sa att polisen tror att de män som greps på tisdagen förberedde sig för att genomföra en attack den dagen.
Videon som hittades i raided hem "avbildade en man talar om att genomföra en attack", sade DC Burn, tillade att arresteringarna var "vägledande för hotet" säkerhetsmyndigheterna nu måste ta itu med.
Inga detaljer har lämnats om den påstådda sammansvärjningen, men hon sade att hotet var "överensstämmande med meddelandena från IS".
Paret, som i domstolshandlingar namngavs som Omar Al-Kutobi och Mohammad Kiad, var inte tidigare känt av polisen och officerare mot terrorism var bara medvetna om dem när de fick information på tisdagen, tvingar dem att agera omedelbart, sade hon.
De har anklagats för att utföra handlingar som förberedelse eller planering för en terroristhandling. De valde att inte närvara vid en inledande utfrågning på onsdag, där borgen formellt nekades.
New South Wales Premier Mike Baird uppmanade till vaksamhet och sade att den påstådda handlingen var "bortom störande".
"Säkert något katastrofalt undveks igår och för att vi bör vara mycket tacksamma", sade han.
I september förra året genomförde Australien sin största räd mot terrorism i Sydney, som svar på avlyssnade underrättelser om en påstådd sammansvärjning.
Omkring ett dussin människor har arresterats överlag, däribland en man anklagad för att ha konspirerat för att beheada allmänheten i Sydney och Brisbane.
Många av dem som är föremål för räderna påstås vara kopplade till eller stödja invaderande arter, eller anklagas för att hjälpa människor att resa utomlands för att slåss med extremister.
I oktober anslöt sig Australien till den USA-ledda militära aktionen mot IS i Irak, där Abbott sade att IS var en "dödskult" som måste stoppas. Men kritiker säger att detta har ökat risken för angrepp på australisk mark.
Den australiska regeringen tror att minst 60 australier slåss med terrorgrupper i Mellanöstern och att minst 100 aktivt stöder dem hemifrån.
December belägringen på Sydney café genomfördes av en man känd för att ha extremistiska islamistiska åsikter, som gjorde gisslan hålla upp en svart islamistisk flagga. Men utredare tror inte att han hade kopplingar till IS eller andra militanta grupper.
Polisen i den australiska staden Sydney har anklagat två män för att ha planerat en omedelbar attack.