Optimismen föll för tredje kvartalet i rad enligt CBI:s arbetsgivargrupp.
Det är sektorns längsta tid av fallande känslor sedan 2009 - mitt under finanskrisen.
Undersökningen av 115 företag visade att räntorna var låga, och potentiellt begränsat marknadstillträde i EU sågs som risker.
Men medan 28 % av de tillfrågade var dystra var 15 % mer optimistiska.
Och nästan 40% av de tillfrågade företagen rapporterade sunda vinster under det sista kvartalet.
Rain Newton-Smith, CBI:s chefsekonom, skyllde de negativa känslorna på den "osäkerhet som Brexit orsakade till låga räntor, tekniska förändringar och stark konkurrens".
Hon uppmanade kanslern Philip Hammond att "rikta en tydlig riktning för tillväxt och välstånd" i sitt höstanförande i november.
"Med företag som uttrycker en stark oro över Brexits effekter, särskilt riskerna för ekonomin i stort under de kommande åren, måste regeringen dämpa sin oro med tydliga planer på förhandlingar om att lämna EU", tillade Newton-Smith.
CBI kämpade för att Storbritannien skulle stanna kvar i EU inför folkomröstningen i juni.
Samtidigt konstaterades det i en separat rapport från tillverkarnas organisation EEF att den brittiska industrisektorn hade fortsatt att stärkas under 2016 och att brittiska företag hade skapat fler arbetstillfällen än motsvarande företag i andra utvecklade län, med undantag för USA.
Tillverkningen står bara för cirka 10% av den brittiska ekonomin, men Lee Hopley, EEF: s chefsekonom, sade att sektorns framgång var avgörande för landets totala tillväxt.
"Detta är särskilt viktigt i en post-Brexit värld," Mr Hopley tillade, "där vi måste titta på eventuellt alla nya vägar att generera tillväxt och investeringar".
De brittiska företagen för finansiella tjänster blir alltmer pessimistiska när det gäller deras framtidsutsikter efter Brexit-omröstningen, föreslår en branschundersökning.