I en Scrubing Up kolumn för BBC News, Nigel Edwards, verkställande direktör för Nuffield Trust, säger de hundratals miljoner pund det kommer att kosta bättre spenderas någon annanstans.
Han sade att andra investeringsområden är att förbättra vården utanför sjukhusen och ta itu med sepsis.
Men hälsominister Jeremy Hunt sa att BBC-läkarna höll med honom.
Hans påståenden kommer trots kritik från British Medical Association, som har hävdat att han inte har gett tillräckligt detaljerad information om planerna eller förklarat hur de kommer att finansieras.
BMA har getts till nästa fredag för att gå med på att diskutera planerna med regeringen.
Planer för en sjudagars NHS har provocerat fram en bitter rad mellan regeringen och läkarnas representanter.
Ministrarna hävdar att tusentals människor dör varje år eftersom det inte finns samma servicenivå på helgerna som under veckan.
British Medical Association, som företräder läkare, säger att regeringen har misslyckats med att fastställa vad dess politik innebär i praktiken och vad den kommer att kosta.
Den påpekar att många läkare redan arbetar under veckosluten.
I en exklusiv intervju och artikel för BBC: s "Scrubing Up" kolumnen, Nuffield Trusts verkställande direktör, Nigel Edwards, säger en sju-dagars NHS är en bra strävan.
Men han hävdar att hälso- och sjukvården är i en värld av "tuffa kompromisser", med många sjukhus bara lyckas uppfylla sina nuvarande åtaganden genom att driva upp underskott.
Han drar slutsatsen att politiken sannolikt kommer att kosta hundratals miljoner pund, och föreslår - i det nuvarande klimatet - att det finns bättre sätt att spendera pengarna.
I sin spalt säger han: "NHS politik är till stor del gjord av medelålders, medelklass män och kvinnor som pendlar långa sträckor till London och Leeds."
Edwards tillade: " Jag tror att en viktig prioritering skulle vara att försöka förkorta den tid som patienter stannar på sjukhus.
"En sju-dagars-tjänst hjälper lite med det men det handlar faktiskt mer om att investera i samhällstjänster och få beslutsprocesserna på sjukhus mycket slickare. Och vi skulle kunna göra det, förmodligen, lättare".
Han säger att det också kan finnas fördelar med att fokusera på individuella förhållanden.
– Ett annat område skulle vara sepsis, som har en mycket stor dödlighetsprocent, förmodligen mycket mer betydande än vad som verkar vara förknippat med sju dagars arbete.
"Att sätta in vissa åtgärder för att upptäcka att tidigt och att ingripa på ett mer effektivt sätt skulle ha stor effekt på människor."
Hälsominister Jeremy Hunt har försvarat pressen för en sju dagar lång NHS. Han erkände att det kan finnas "framsida kostnader" av hundratals miljoner pounds, men han berättade för BBC det kan också finnas liknande nivåer av besparingar på grund av förbättrad utskrivning från sjukhuset.
Han hävdade också att regeringen investerade i andra områden som det nya meningit B-vaccinet, nya cancerläkemedel och demens.
Och han insisterade på att det fanns ett starkt stöd inom hälso- och sjukvården för sjudagarsplanen.
"För läkare som är helt passionerade för att NHS ska erbjuda den bästa och säkraste vården var som helst i världen, vetskapen om att tusentals människor dör varje år eftersom vi inte erbjuder samma servicenivå på helgen som vi gör under veckorna är något som verkligen oroar dem."
Den verkställande direktören för Sepsis Trust, dr Ron Daniels, välkomnade den föreslagna betoningen på att ta itu med problemet, som dödar uppskattningsvis 37 000 människor varje år i Storbritannien.
"Att minska dödsfall från sepsis är inte raketvetenskap men det har varit relativt lite investering i att hantera problemet.
"En starkare strategi för att ta itu med sepsis skulle vara den snabbaste vinsten för att rädda liv och skulle kräva mycket mindre investeringar än en övergång till fullständiga sjudagars tjänster i NHS."
Ministrarna insisterar på att det finns ett starkt stöd för deras sjudagars NHS-planer eftersom experter utmanar politiken.