Turnbull sade att titlarna var "olämpliga" i det moderna Australien, och att drottning Elizabeth hade accepterat kabinettets rekommendation att släppa dem.
Före detta premiärminister Tony Abbott återinförde riddarna och damerna 2014.
Hans kontroversiella beslut att ge Prins Philip ett riddarskap i januari sågs allmänt som en av de faktorer som avslutade hans mandatperiod som ledare.
Abbott sade då att Australien hedrade hertigen av Edinburghs livstid av "tjänst och hängivenhet", men senare sade att beslutet var "oförsiktigt".
I september avvisades han som ledare för det centrala liberala partiet av Turnbull.
Analys: Jon Donnison, BBC News, Sydney
Beslutet att ge Prins Philip ett riddarskap var enormt impopulärt i Australien och ses som en av de största misstagen i Tony Abbotts korta ämbetstid.
Nu har den nye premiärministern Malcolm Turnbull, som 1999 ledde Australiens misslyckade kampanj att överge monarkin och bli republik, tappat riddare och damer.
Premiärministern får tillfälle att diskutera saken med hertigen av Edinburghs son senare denna månad, när prins Charles kommer till Australien på ett kungligt besök.
Turnbull har nyligen sagt att han fortfarande är republikan, men han anser inte att frågan är en prioriterad fråga för hans regering.
Slutet på "Knightmare" ställer republikanska frågor
I ett uttalande sade Turnbull att Australiens ordens utmärkelser var "ett viktigt sätt att hedra många australiensares prestationer och service, inklusive de osunga hjältar som annars kanske inte skulle bli erkända utanför deras lokalsamhällen".
Men han sade att hans kabinett nyligen hade granskat systemet och beslutat att riddarna och damerna var "inte lämpliga i vårt moderna hederssystem".
Befintliga riddare och damer skulle inte påverkas av förändringen, sade han.
Oppositionen Labourpartiet välkomnade flytten, med skugg kassör Chris Bowen som beskriver titlarna "en nationell skam".
Men han sade att det var "inte lämpligt" för Australien att "knacka på det brittiska imperiet genom vårt hederssystem".
"Vi borde inte fira det faktum att riddare och damer är borta, vi bör beklaga det faktum att de kom tillbaka under denna regering," ABC News citerade honom som säger.
Men monarkistiska grupper i Australien kritiserade beslutet.
Framträdande australiensisk monarkist David Flint anklagade Turnbull för att försöka få "hämnd" för den misslyckade folkomröstningen 1999 i republiken, rapporterade Sydney Morning Herald.
Mr Flint, chef för australiensarna för den konstitutionella monarkin organisationen, sade skrotning titlar innebär att Australien inte kan ge internationellt erkännande till sina bästa soldater, idrottsmän och sångare.
Australiens hederssystem
Samväldet hedrar systemen
Vid sidan av prins Phillip har tre personer fått äran sedan 2014 - tidigare guvernör Marie Bashir i New South Wales, f.d. generalguvernör Peter Cosgrove och f.d. chef för försvarsstyrkan Angus Houston.
Australierna samlades online under hashtaggen #KnightsAndDames för att välkomna Mr Turnbulls tillkännagivande.
Många höll med om att detta var ett steg framåt för Australien.
Andra ansåg att det fanns mer angelägna frågor att ta itu med.
Australien kommer inte längre att utse riddare och damer under dess hederssystem, har statsminister Malcolm Turnbull sagt.