John Johnson betonade den växande oron bland eleverna för att inte få bra valuta för pengarna.
Han varnade också universiteten för att stoppa "överdrivna" löner för rektorer.
Men Johnson avslog uppmaningarna att avskaffa terminsavgifter - att säga att det skulle vara en "katastrof av historiska proportioner".
Russellgruppen av ledande universitet var ljummen i sitt svar på idén om ett bindande kontrakt - en varning om "oavsiktliga konsekvenser" och sade att "ingen skulle vilja se standarder undergrävas av risken för rättsliga åtgärder".
Labour sade att samtal om valuta för pengarna för studenter var en "rökskärm" för att täcka impopulariteten av de stigande kostnaderna för avgifter.
I ett tal till reformtanken i London kämpade Johnson emot uppmaningar att stoppa höjningen av studieavgifterna och räntorna på lån.
Institutet för skattestudier har varnat för att högre avgifter på 9,250 pund och högre räntor till 6,1 procent kommer att innebära att de utexaminerade lämnar universitetet med skulder på mer än 50 000 pund i genomsnitt.
Tidigare utbildningsminister Lord Adonis har kallat så höga nivåer av avgifter och räntekostnader "oförsvarliga", och chefen för Russell Group av universitet har krävt en omvärdering av räntor.
Samtidigt som John Johnson sade att sådana anklagelser skulle hållas "under översyn" försvarade han de principer som ligger till grund för det nuvarande systemet som progressivt och gav medel till extra universitetsplatser.
John Johnson sade att det var "ursinnigt" och "helt felaktigt" att föreslå att högre undervisningsavgifter hade avskräckt missgynnade studenter från att gå på universitet - och att inträdesfrekvensen för ungdomar med sämre bakgrund var rekordhög.
Labours politik att skrota studieavgifterna skulle innebära att universiteten skulle vara beroende av statliga medel, sade John Johnson, och han sade att om den högre utbildningen konkurrerade mot andra påtryckningar på de offentliga utgifterna skulle universiteten få sina budgetar pressade.
Det skulle innebära en "lång nedgång i medelmåttighet", sade John Johnson, och ett minskande antal platser.
Han sade att kostnaderna för skrotningsavgifter, clearing av befintliga skulder för studenter och återbetalning av studenter som redan hade betalat av sina lån skulle kräva en 2,5-procentig höjning av grundskattesatsen för inkomstskatt.
Men han krävde också att universitetsväsendet skulle bli mycket mer lyhördt för studenternas behov.
John Johnson sade att det nyinrättade studentkontoret skulle överväga hur man skulle införa kontrakt för alla studenter och ge dem ett sätt att ifrågasätta kvaliteten på sina kurser.
Detta skulle omfatta områden som kontakttid, resurser och bedömningar.
"Även om kontrakt finns i olika former i vissa institutioner, de flesta av dem inte ger tillräckligt med detaljer för att vara användbara", sade John Johnson.
"Att främja studenter med större avtalsenlig säkerhet", sade John Johnson, "skulle bidra till att ta itu med en stor del av missnöjet över att grundskoleutbildningen verkar ha ett dåligt värde för pengarna".
John Johnson sade att sådana kontrakt skulle ta itu med problem med "icke-leverans" för studenter och ge dem "någon form av gottgörelse", vilket skulle kunna omfatta "rättsmedel".
Ministern sade också till universiteten att hålla inne lönerna för rektorer - med dussintals universitetschefer som nu får över 300.000 pund och några som får mer än 400 000 pund.
"När studenter och skattebetalare investerar så mycket i vårt system för högre utbildning bör valuta för pengarna garanteras.  Ändå hör jag fortfarande elever säga att deras kurs är dålig kvalitet.
"Detta är inte tillräckligt bra, särskilt när vissa rektorer tar hem en lön som i vissa fall överstiger premiärministerns."
Men Labours universitets talesman, Gordon Marsden, sade att Johnson var "helt tandlös" över rektorernas lön och hans klagomål skulle "kastas in i det långa gräset".
"Hans tillkännagivanden idag är en rökridå för att undvika ökande bevis på att kostnaden för lån driver studenter bort från att ansöka till universitet och tvingar mer att hoppa av," sade Mr Marsden.
Studenterna kommer att ha formella kontrakt med universitet, så att de kan utmana dem över alltför få undervisningstimmar eller om lokaler är otillräckliga, säger universitetens minister Jo Johnson.