Fem domare i Högsta domstolen avfärdade utmaningen om en utredning av skottlossningen vid Batang Kali 1948 med fyra till en majoritet.
Familjerna, som säger att männen var "massade", fick sitt fall avvisat av den brittiska appellationsdomstolen förra året.
Brittiska styrkor vid tiden för morden sa att männen var rebeller.
I Högsta domstolens dom beskrev en av domarna, Lord Kerr, fallet som "sockande" och sade att "överväldigande övervägande av nuvarande tillgängliga bevis" visade "helly oskyldiga män blev skoningslöst mördade".
Han sade att det var "med beklagande" att han ogillade överklagandet.
"Detta är ett fall där lagen har visat sig oförmögen att svara positivt på kravet att det finns gottgörelse för den historiska orätt som klagandena så passionerat tror har begåtts mot dem och deras släktingar", sade Lord Kerr.
"Det kan återspegla en brist i vårt rättssystem. Det representerar sannerligen inte någon misskreditering på det hedervärda korståg som klagandena har fört."
En annan av domarna, Lady Hale, sade att hon skulle ha tillåtit överklagandet och sade den brittiska regeringen "inte allvarligt överväga den mest kostnadseffektiva form som en sådan undersökning kan ta".
"De tog inte allvarligt på den "större bilden": det allmänna intresset av att ordentligt undersöka en händelse av denna omfattning; de anhörigas och de överlevandes privata intressen i att veta sanningen och se ryktet av deras avlidna släktingar hävdas", sade hon.
Klagandena i målet – Chong Nyok Keyu, Loh Ah Choi, Lim Kok och Wooi Kum Thai, av vilka två var på Batang Kali som barn – fick stöd av aktionsgruppen Dömande av Batang Kali Massacre, en kampanj i Malaysia som omfattar 568 organisationer i det civila samhället.
Michael Fordham QC, som företrädde klagandena, sade till domstolen att familjerna ville "försvara den avlidnes legitima intressen för att uppnå rättvisa, innan de dör själva".
Släktingar hävdade att artikel 2 - rätten till liv - i Europeiska konventionen om skydd för de mänskliga rättigheterna innebär en skyldighet för Förenade kungariket att genomföra en oberoende undersökning, trots de mord som inträffade innan konventionen utarbetades och undertecknades.
Det hävdades å regeringens vägnar att lagen om mänskliga rättigheter "inte har retroaktiv verkan och inte innebär någon skyldighet att genomföra en undersökning om dödsfall som inträffade flera årtionden innan den trädde i kraft".
Berättelsen om de brittiska myndigheterna vid den tiden var att den avlidne med rätta sköts medan de försökte fly från patrullen.
En officiell förklaring fanns i ett skriftligt parlamentariskt svar i Hansard, som publicerades den 26 januari 1949.
Den 11 och 12 december 1948 - när Malaya fortfarande var en brittisk koloni - dödades 24 bybor av en pluton skottgarde under en räd vid Batang Kali.
Männen var kinesiska migrerande arbetare som av britterna misstänktes hjälpa rebeller under den malayaska nödsituationen - en konflikt mellan kommunistiska gerillasoldater och brittiska och samväldesstyrkor, som varade i 12 år.
En undersökning på den tiden friade soldaterna från ett orätt handlingssätt, men år 1970 sade några av soldaterna att byborna hade avrättats.
Under 1990-talet inledde myndigheterna i Malaysia en undersökning, men den stoppades innan man kom fram till en slutsats.
Det har förekommit många krav på en offentlig undersökning - alla dessa har förkastats av Förenade kungariket.
Släktingar på 24 gummiplantager som dödades av brittiska trupper för nästan 70 år sedan i Malaya har förlorat en vädjan om en officiell utredning.