Forskare vid Imperial College London undersökte benstrukturen hos höftfrakturpatienter som hade behandlats med bisfosfonater.
De fann bevis för att drogerna var kopplade till mikroskopiska sprickor, vilket gjorde ben mer sköra och benägna att brytas.
Osteoporos drabbar tre miljoner människor i Storbritannien.
Vad är osteoporos?
Att förlora ben är en normal del av åldrandeprocessen, men vissa människor förlorar bentäthet mycket snabbare än normalt. Detta kan leda till osteoporos och en ökad risk för frakturer.
Bisfosfonater - huvudbehandlingen mot osteoporos - är en extremt framgångsrik och allmänt ordinerad läkemedelsklass som saktar ner de naturliga processer genom vilka kroppen avlägsnar åldrande eller skadat ben.
Men läkare har uttryckt oro över antalet frakturer bland äldre patienter som har tagit läkemedlen under lång tid.
För att ta reda på varför, det team som leds av Dr Richie Abel tog prover av ben från 16 hip-fraktur patienter och studerade dem vid Diamond Light Source - den massiva munk-formade Syncatron eller partikelaccelerator på Harwell campus i södra Oxfordshire.
"Vad vi ville se var om benet från bisfosfonater var svagare eller starkare än ben från obehandlade kontroller", förklarade Dr Abel.
"Förbluffande nog fann vi att benet från bisfosfonatpatienterna var svagare. Det är en gåta eftersom benet bör vara starkare."
Genom att bombardera proverna med röntgenbilder 10 miljarder gånger ljusare än solen, kunde teamet generera bilder av den inre strukturen av benen i aldrig tidigare skådad detalj.
Dessa visade mikroskopiska sprickor som växte upp i skelettet hos patienter som behandlades med bisfosfonater.
Dr Abel sade: "Drugen fungerar tydligt, men det leder också till uppbyggnaden av mikro-knäppningar i benet och det kan öka sannolikheten för en fraktur."
Det är ett överraskande resultat, men studien var liten och arbetet är på ett tidigt stadium.
Trots det, säger Prof Justin Cobb, medförfattare på tidningen, att upptäckten väcker viktiga frågor om hur vi förskriver bisfosfonater för långsiktiga tillstånd som osteoporos.
"Det är ingen brådska, men vi bör tänka på hur länge människor tar dem, och hur vi kan övervaka utvecklingen av dessa mikro-cracks," sade han.
Under tiden säger forskarna att människor bör fortsätta att ta mediciner som ordinerats av deras läkare.
Om du svarade: "Ja", på mer än en av dessa frågor, då kan du vara mer i riskzonen för att utveckla osteoporos:
•Har någon i din familj någonsin fått diagnosen osteoporos?
•Har du någonsin brutit ett ben efter en mindre stöt eller fall?
•Är du kvinna och över 50 år?
•Dricker du mer än tre enheter alkohol per dag?
•Missar du sommarsolen (genom att vara husbunden, undvika solen, alltid täcka din hud eller bära solskydd)?
•Saknar du att göra minst 30 minuters aktivitet fem gånger i veckan?
Källa: National Osteoporosis Society
Läkemedel som används för att behandla svaga ben hos äldre patienter som lider av osteoporos kan faktiskt göra dem svagare, forskning tyder på.