Det amerikanska nätverket sade att det var "inte ett lätt beslut" och hade "enorm respekt" för sina skapare och skådespelare.
På 1970-talet berättades det i serien om en karismatisk skivchef som försökte återuppliva sitt kämpande märke.
I ensemblen ingick Bobby Cannawale i huvudrollen, Olivia Wilde som hustru och Sir Micks son James som upprorisk brittisk sångare.
Sir Mick och Scorsese var en av showens exekutiva producenter, och den senare regisserade sitt pilotavsnitt.
Seriepremiären i februari iakttogs av 764 000 tittare, även om den genomsnittliga publiken senare sjönk till 650.000.
"Efter noggrant övervägande, har vi beslutat att inte fortsätta med en andra säsong av Vinyl," HBO sade i ett uttalande.
"Vi har en enorm respekt för det kreativa teamet och kastar för deras hårda arbete och passion för detta projekt."
Ray Romano, en annan skådespelare i ensemblen, berättade för en australiensisk tidning på torsdag att annulleringen kändes som "en kniv i magen".
Wilde tackade sina Twitter-anhängare för deras "snälla ord" och sa att hon hade varit en del av "något speciellt".
Sir Mick Jagger och Martin Scorseses musikbaserade drama Vinyl har ställts in av HBO efter en säsong.