Yellen sade att de aktuella värderingarna var "snabbt höga", men tillade att hon inte såg några bubblor bildas.
Kinesiska aktier såg de största nedgångarna i regionen med Shanghai Composite stängning 2,8% vid 4.112.21 - markerar en tredje dag av nedgångar.
Hong Kongs Hang Seng var nere 1,3% vid 27.289.97 - faller för sjätte dagen.
Flera företag på fastlandet har meddelat aktieerbjudanden genom veckan, vilket leder investerare att dra medel från andra aktier.
Investerare var också oroade över rapporterade nya åtgärder av tillsynsmyndigheter för att kyla Kinas marknad, såsom att begränsa storleken på marginalfinansiering och begränsa den typ av aktier investerare kan köpa med lånade pengar.
I Japan lade Nikkei 225 ned 1,23 % på 19,291,99 efter att ha varit stängd hela veckan för en semester.
Australiens referensindex S&P/ASX 200-index sjönk med 0,82 % vid 5.645.70.
Aktierna i Australien hade drabbats av sin största endag nedgång på mer än två år på onsdag efter nedslående resultat från Australiens största banker.
Investerare är oroade över landets fyra stora banker med långsammare tillväxt.
National Australia Bank (NAB), den sista av de stora bankerna att tillkännage sina resultat denna vecka, rapporterade en 5,4% ökning av kontantvinst för sex månader till mars.
Det meddelade också en 5,5 miljarder australiensiska dollar ($4,4 miljarder; £2.8 miljarder) kapitalanskaffning som kommer att innebära försäljning av nya aktier.
NAB vill bryta samman och flytta sin oroliga brittiska bank, Clydesdale, och bygga upp sin balansräkning.
Långivarens tillkännagivande om kapitalanskaffning har rapporterats av några av Australiens medier som den största i landets företagshistoria.
De senaste siffrorna om Australiens arbetslöshet, som visade en liten ökning till 6,2 % i april, vägde också investerarnas förtroende.
I Sydkorea stängdes indexet för Kospi 0,65 % vid 2.091.
Asiatiska aktier föll på torsdag, spårning förluster ses på amerikanska marknader efter Federal Reserve ordförande Janet Yellen uttryckte oro över aktievärderingar.