Commons Public Accounts Committee sa att visselblåsare ofta utsatts för mobbning och trakasserier.
I rapporten efterlystes att visselblåsare skulle erbjudas juridisk hjälp och rådgivning och att "snabba sanktioner" skulle åläggas personal som har utsatt dem för brott.
Regeringen sa att den agerade för att se till att folk kände sig fria att tala ut.
I rapporten betonades den "viktiga" roll som visselblåsare hade spelat för att avslöja detaljer om Hillsborough-katastrofen och trustskandalen i Mid Staffordshire NHS.
Utskottet sade att whistleblowing var en "viktig källa till information för att hjälpa regeringen att identifiera oegentligheter".
Man fann dock att det fanns en "uppseendeväckande koppling" mellan politik som uppmuntrade visselblåsare i teorin och vad som hände i praktiken.
I rapporten sades det att man "har hört alltför många fall av skrämmande behandling av visselblåsare av sina kolleger".
Tjänstemän som försökte väcka oro måste ofta visa "märkbart mod" när de kom fram.
Rapporten belyste visselblåsande i samband med Hillsborough katastrofen den 15 april 1989, där 96 Liverpool fans på en FA Cup semifinal förlorade sina liv.
Premiärminister David Cameron bad senare om ursäkt för katastrofens "dubbel orättvisa", efter att en oberoende rapport som publicerades 2012 visade att polisen och räddningstjänsten hade försökt avleda skulden.
Det belyste också Mid Staffordshire NHS-skandalen, där personalen på Stafford Hospital hade blåst i visselpipan om "appelling care" mellan 2005 och 2008.
Utskottet hörde från Kay Sheldon, en ledamot av styrelsen för Care Quality Commission som, enligt rapporten, hade blivit "offeriserad" av högre tjänstemän efter att hon försökt väcka oro över hur det hade fungerat.
Enligt rapporten hade ingen fått några sanktioner för sin behandling.
Arbetsmarknadsledamot Margaret Hodge, som är ordförande i kommittén för offentliga räkenskaper, sade att visselblåsande var "svårt" och måste tas på allvar av alla ledande befattningshavare i stora företag och organisationer inom den offentliga sektorn.
Hon sade att skyddet för visselblåsare fortfarande inte var tillräckligt, med hänvisning till exemplet Osita Mba - en före detta advokat vid Revenue and Customs som riktade uppmärksamheten på vad han hävdade var "söthjärtade affärer" mellan skattemyndigheterna och Goldman Sachs.
Hon sade att Mba var en "riktigt modig kille" men att det hade blivit "omöjligt för honom" att stanna kvar hos organisationen efter hans avslöjanden och att han hade "att börja sitt liv igen någon annanstans".
"Det sätt på vilket du stöder visselblåsare är oerhört viktigt", tillade hon.
"Jag tycker att det är väldigt viktigt att det finns ordentliga sanktioner på plats i en organisation, så om någon blåser i visselpipan, får de ordentligt stöd och om någon vågar mobba eller trakassera dem blir de inte bara tillrättavisade utan bestraffade."
Rättsligt skydd för visselblåsare
1998 års lag om offentlig information skyddar arbetstagare som lämnar ut information om potentiellt brottsligt beteende och annan osedvanlig verksamhet på sin arbetsplats, eller tidigare arbetsplats, förutsatt att vissa villkor är uppfyllda.
Beroende på vilken typ av information som lämnas ut och vem den anförtros är en whistleblower rättsligt skyddad från att lida skada till följd av detta. Om dessa villkor inte är uppfyllda kan ett utlämnande utgöra en överträdelse av arbetstagarens skyldighet att hysa förtroende gentemot arbetsgivaren.
Lagarna gäller för direktanställda och bemanningsföretag, men inte de som arbetar för säkerhetstjänsten, och kampanjgruppen Public Concern at Work säger att även andra individer - som volontärer och praktikanter - är uteslutna.
Lagen ändrades förra året för att inkludera en särskild prövning av allmänintresset, där visselblåsare måste "på ett rimligt sätt tro" att deras handlingar ligger i det allmännas intresse att skyddas.
Arbetstagare som oroar sig för mobbning och trakasserier av arbetskamrater skyddas också. Kolleger som diskriminerar dem är personligen ansvariga för sina handlingar medan deras arbetsgivare är "svårt ansvariga".
Skattebetalaralliansen sade i betänkandet att det fanns en "sekretesskultur" i en stor del av den offentliga sektorn, och visselblåsning måste uppmuntras.
"Även om praxisen ofta ställer tuffa frågor, är det ett viktigt verktyg för att öka ansvarsskyldigheten för de ansvariga och för att se till att våra offentliga tjänster fungerar så bra som möjligt för de människor som behöver dem," kampanjgruppens verkställande direktör Jonathan Isaby sade.
En taleskvinna från regeringen sade: " Alla statstjänstemän måste kunna väcka oro, så att man kan identifiera och agera på bristfälliga tjänster och ineffektiva operationer.
"Det är därför denna regering ser till att människor känner sig fria att tala ut. Medvetenheten om hur ett klagomål skall tas upp har ökat med 20 procent och två tredjedelar av tjänstemännen anser att eventuella klagomål kommer att utredas ordentligt.
"Dessutom ser vi till att alla avdelningar har en tydlig policy för whistleblowing."
Labour sade att whistleblowing i många fall hade lett till stora förändringar i politiken.
"Det måste finnas en tydlig standardiserad policy för hantering av visselblåsare som arbetar inom alla våra offentliga tjänster för att se till att det inte finns några skillnader i hur människor hanteras och att personalen skyddas från att bli offer." "Skugga kabinettsminister Michael Dugher."
Behandlingen av anställda inom offentliga tjänster som har väckt oro över förseelser har ofta varit "hocking", en grupp parlamentsledamöter har sagt.