Det varnar också för att Storbritannien kan behöva tillåta EU-registrerade båtar att fiska i Förenade kungarikets vatten som en del av en övergripande överenskommelse.
Fiskeregionerna runt om i Förenade kungariket röstade starkt för att lämna EU under folkomröstningskampanjen.
Lords-granskningen säger att dessa samhällen riskerar att marginaliseras i de bredare Brexitförhandlingarna.
EU:s gemensamma fiskeripolitik, med sina kvoter och principen om lika tillgång till kommersiella fiskevatten för båtar från alla medlemsstater, har ofta karakteriserats av industrin som en katastrof för Storbritannien.
Denna motvilja bidrog till att mobilisera många inom industrin för att driva på för en permissionsomröstning i folkomröstningen i juni förra året.
Många i fiskesamhället hävdar att Brexit nu erbjuder industrin chansen att återfå kontrollen över brittiska vatten och bli en ledande fiskexporterande nation, som Norge.
Men Lord House of Lords Europeiska unionens kommitté har släppt ett betänkande där man undersöker riskerna och möjligheterna för den brittiska industrin.
Eftersom det brittiska fisket bara producerar en halv procent av BNP och sysselsätter bara 12.000 fiskare, säger Lords att industrin kan vara en låg prioritet för regeringen men det "inte får marginaliseras i de bredare Brexit förhandlingarna".
Det som komplicerar bilden är att de mest kommersiella fiskbestånden finns i vatten som delas mellan Förenade kungariket och andra kuststater i EU. De allra flesta brittiska fiskar exporteras, främst till EU, medan en betydande del av den fisk som brittiska konsumenter äter importeras, ofta från EU-länder.
"En framgångsrik industri", säger rapporten, "därför behöver fortsatt marknadstillträde."
Denna tillgång kan dock komma till ett pris.
"Brexit kommer att innebära många kompromisser", sade Lord Teverson som leder Lords EU energi- och miljöunderkommittén.
"Det kan mycket väl vara så att EU:s medlemsstater kräver mer tillträde till Förenade kungarikets vatten än vissa fiskare skulle vilja ha i utbyte mot våra fortsatta rättigheter att sälja fisk till den europeiska marknaden med nolltariffer."
I betänkandet påpekas också att många delar av den gemensamma fiskeripolitiken bör behållas efter Brexit, och Förenade kungariket bör se till att de totala tillåtna fångstmängderna och kvoterna även fortsättningsvis baseras på vetenskapliga utlåtanden. Förenade kungariket kommer även fortsättningsvis att omfattas av internationella skyldigheter att samarbeta med grannländerna.
Ett område som enligt betänkandet kan vara oroande är att om Storbritannien lämnar EU kommer den gemensamma fiskeripolitiken, som behandlar Förenade kungariket som en enhet, att försvinna "för att öka potentialen hos fyra olika fiskeriförvaltningssystem" i England, Wales, Nordirland och Skottland.
Många inom fiskeindustrin hävdar dock fortfarande att Brexit kommer att medföra fler möjligheter än hot.
Just den här veckan tillkännagav EU en överenskommelse om nya kvoter inom ramen för den gemensamma fiskeripolitiken - många analytiker säger att det innebar ett framsteg för Förenade kungariket med betydande ökningar av tillåtna fångstmängder för rödspätta, kolja och räkor.
Som svar på de nya kvoterna sade företrädare för industrin att de ansåg att detta är bra för det brittiska fiskets framtid utanför EU.
"Med Brexit nu hotande, fiskare kan se fram emot framtiden med verklig optimism som vi är på väg mot en spännande ny era som kuststat med full kontroll över vår 200-mil exklusiva ekonomiska zon," Bertie Armstrong, verkställande direktör för den skotska fiskefederationen sade i ett uttalande.
"Detta kommer att ge oss möjlighet till rättvisare andelar i att fånga upp möjligheter och bättre lämpar sig för hållbar fiskeriförvaltning, vilket kommer att gynna våra kustsamhällen."
Som svar på rapporten sade en regeringstalesman: "När vi går in i EU-förhandlingarna har premiärministern varit tydlig och vi vill se till att brittiska företag har maximal frihet att handla med och verka på den inre marknaden."
"Att lämna EU är samtidigt ett verkligt tillfälle att se över fiskeriförvaltningen för att säkerställa rättvis tillgång till kvoter, hållbara bestånd och en sund havsmiljö."
Följ Matt på Twitter och på Facebook
Den brittiska fiskeindustrin kommer att behöva fortsatt tillgång till EU:s marknader om den ska kunna blomstra efter Brexit, ett hus of Lords betänkande har varnat.