Hans syster var gift med Mohammad Sidique Khan - den äldsta av de fyra självmordsbombare som attackerade London den 7 juli 2005, döda 52 personer.
Nu har han beslutat att tala offentligt för första gången, eftersom han vill hjälpa till att förhindra radikalisering.
Mr Patel säger att hans svåger, som tog livet av sig och sex andra när han detonerade en bomb på en Circle Line underjordiska tåg nära Edgware Road, var "avskyvärt".
Patel kämpar för att hitta adjektiv om honom som inte är expletives och tillägger: "Han är en ynkrygg. Hur ska hans dotter kunna leva resten av sitt liv nu? Terrorism skadar alla."
Han säger att han först inte registrerade attackerna och bara riktigt förstod vad som hade hänt den 12 juli.
"Min mor, bror, syster och systerdotter kom hem till mig. Scotland Yard och MI5 med dem. Min bror sa till mig "den där saken i London, de säger att det var Sidique", minns han.
"Jag frågade honom faktiskt, "Vad har hänt i London?" Jag var tvungen att undersöka det.
"Jag svimmade nästan. Jag kan komma ihåg min mor de kommande två eller tre dagarna svimmar flera gånger."
Typ: Mohammad Sidique Khan
7/7 attacker: Vad hände den dagen?
7/7 attacker: Offren
Hans första reaktion var förnekelse.
"Du kan inte tro att denna person som du visste är kapabel till det, helt enkelt eftersom det inte fanns några tecken, det fanns inga indikatorer.
"Han kanske bara är ett av offren, för det var en pågående utredning."
Den perioden av förnekelse tog slut när Mohammad Sidique Khans "martyrdomsvideo" släpptes.
I det hävdade han att agera som svar på västra engagemang i muslimska länder.
Patel är kategoriskt övertygad om att det inte fanns några tecken som han kunde ha sett i Khan för att förutsäga vad han skulle fortsätta att göra.
Han säger att Khan, som arbetade som en lärande mentor för barn före attackerna, skulle diskutera händelser som Irakkriget som en del av ett normalt samtal men aldrig visade tecken på att vara kapabel till våld.
Men han säger att Khan tittade ner på den muslimska gemenskapen i Dewsbury, där de alla bodde, och skulle vägra att besöka lokala moskéer eftersom han var oense med deras icke-politiska hållning.
"Hans attityd var'mina böner kommer inte att accepteras i dessa moskéer'.
"Begreppet han skulle använda är att, 'Ni är hippy Muslims - ni är som kväkarna, som Frälsningsarmén. Alla glada klappiga muslimer, det är vad ni sufis är."
Patel har träffat två 7/7 överlevande och har ofta övervägt att hedra offren vid ett av de årliga åminnelserna men oroar sig för att det skulle förolämpa sörjande släktingar.
Han säger att hans familj också har påverkats, med sina barn mobbas av andra muslimska barn.
"Vi var inte förövarna, men vi blev utfrysta från samhället - det är ett bevis på att samhället ser terrorismen med avsky - och de ser terroristernas familjer med avsky."
Men Patel är tydlig med att han inte försöker förringa lidandet hos dem som förlorade sina nära och kära i attackerna.
"Deras lidande är mycket värre. Om folk inte sympatiserar med mig, så klandrar jag dem inte. Jag klandrar honom [Mohammad Sidique Khan]."
Patel anser att det ibland kan finnas en ohjälplig inriktning på utrikespolitiken när man diskuterar radikalisering.
Han säger Khans påståenden att hans handlingar var ett svar på utrikespolitiken var en "patetisk ursäkt". "Vi har alla klagomål", säger han.
Han är på liknande sätt rättfram i att förkasta idén att muslimska samhällen behandlas illa i Storbritannien och det driver dem mot radikalisering.
"Efter 7/7 har det varit väldigt lite bakslag. Det har inträffat enstaka händelser. Det gör att du sätter din tro tillbaka i mänskligheten.
"När någon som EDL eller Britannien först dyker upp, kommer de första som faktiskt motsätter sig dem, tillsammans med oss, att bli deras landsmän."
För Patel - radikalisering är en fråga för hela det brittiska samhället - inte bara den muslimska gemenskapen.
Ändå tror han att moskéer kan göra mer.
Han säger att det behövs fler engelsktalande imamer och mer samordning med ungdomsarbetare som har "livserfarenhet".
"ISIS (den så kallade islamiska staten) måste diskuteras.
"Annars, eftersom vi inte tar itu med dessa frågor i moskén, de kommer att gå online och de kommer att hamna på en dålig plats. Vi är inte skyldiga, men vi är en del av problemet eftersom vi inte gör vad vi kan göra själva."
Patel säger att han i stort stöder regeringens program mot radikalisering, Prevent.
Han hoppas också kunna knyta kontakter med andra som arbetar med avradikalisering för att kunna bidra till att förhindra att en annan illvillighet händer här.
Frågade om han är orolig att det kan bli ytterligare en attack på brittiska gator, svarar han: "Ja, det är därför jag känner att jag måste tala ut."
I mer än ett decennium har Ahmed Patel levt med arvet från 7/7 attackerna.