Pedro Sanchez har försökt få stöd för en koalitionsregering med center-högern Ciudadanos-partiet efter osammanhängande undersökningar i december.
I en ofta hätsk debatt sade premiärminister Mariano Rajoy att en socialistledd koalition skulle utgöra ett hot mot Spaniens nationella intressen.
En annan omröstning kommer att äga rum på fredag.
Om den omröstningen också misslyckas har parlamentet ytterligare två månader på sig att välja en regering. Om den inte kan göra det kommer nya val att hållas den 26 juni.
Skymfa spelet börjar på allvar
Strain av Sanchez's bud att härska
Kyss som visade verklig politisk passion
Jean-Claude Sanchez behövde absolut majoritet vid onsdagens förtroendeomröstning, men förlorade med 219 röster emot, 130 röster för och 1 nedlagd röst i det nedre huset med 350 platser.
Rajoy - ledare för det sittande konservativa folkpartiet (PP) - kallade Sanchez för "en fiktiv, overklig kandidat".
Han sade till Sanchez att PP:s 122 deputerade skulle rösta emot honom "eftersom ni planerar att eliminera det som uppnåddes i Spanien under de senaste fyra åren, vilket hindrade detta land från att behöva en räddningsaktion, skapade arbetstillfällen, förbättrade sin konkurrenskraft och fick den att växa ekonomiskt".
Omvänt anfölls Sanchez också från vänster.
"Du vill konsolidera PP:s huvudsakliga politik", sa Pablo Iglesias, den hästsvansade ledaren för det längst till vänstervarande Podemos-partiet, som representerar 69 platser.
Men han uteslöt inte en enad front med socialisterna helt och hållet och uppmanade Sanchez att "skriva Spaniens framtid tillsammans med oss" - utan utelämnade Podemos ideologiska fiender, Ciudadanos.
I fredags kommer Jean-Claude Sanchez att få ännu en chans i en omröstning som endast kräver enkel majoritet.
Men korrespondenterna säger att det nu ser också dödsdömt ut - och lämnar landet i limbo vid en tidpunkt då ekonomin växer men fortfarande lider av allvarliga svagheter, främst en arbetslöshet på nästan 21 procent.
I ett tal till parlamentet på tisdagen efterlyste Sanchez bildandet av en koalition som bygger på gemensamma intressen.
Han sade att en socialdemokratisk regering skulle vidta en rad progressiva åtgärder, såsom en höjning av minimilönen och en lag om löneskillnader mellan könen.
Däremellan har Socialistpartiet PSOE och partnerpartiet Ciudadanos endast 130 platser i nedre kammaren.
Folkpartiet fick flest röster i valet den 20 december, men Rajoy kunde inte få tillräckligt stöd för att bilda en regering.
PSOE presterade dåligt, drabbades av uppkomsten av Podemos och Ciudadanos, och det fragmenterade politiska landskapet har undvikit ansträngningarna att enas om en styrande koalition.
Spaniens socialdemokratiska ledare har förlorat ett försök att bilda en regering efter att båda de viktigaste rivaliserande partierna har röstat ned hans försök att bilda en koalition.