Mercedes förare Nico Rosberg sade delar av banan i Azerbajdzjans huvudstad var "verkligen inte ser bra".
Button tillade att vissa hörn "inte har någon avrinning alls".
Rosberg hoppades att FIA hade hållit fast vid säkerhetsriktlinjerna som styr spåren, men tillade: "Jag tvivlar lite på det på grund av dessa hörn."
De viktigaste områdena av oro på den nya banan, som ansluter sig till både de nya och historiska gamla delarna av staden och förväntas vara den snabbaste gatan i F1-historien, vänds tre, sju och 15 och pit-lane inträde.
Button sade: " Vi litar på FIA, och de gör ett fantastiskt arbete för att skydda oss. De har förbättrat i stort sett varje krets vi går till, inklusive Monaco.
"Det är bara det att på vissa hörn här, det ser ut som om det inte finns en hel del avrinning. Förhoppningsvis har jag fel."
Han tillade: "Det är bra så länge ingen har ett misslyckande, kommer vi att försvinna alla lyckliga. Vi måste bara hoppas att det inte händer."
Button sade att det mest kritiska området var tur 15, som förarna kommer att närma sig vid beräknade hastigheter på ca 180mph efter en lång platt-out avsnitt.
[Moses] svarade: "Det är kört, men ni måste svänga höger för att ta det."
Rosberg tillade: "Kärleken är stor, platsen är stor. Jag har välkomnats mycket väl så jag är säker på att allt kommer att bli en stor framgång.
"Men det finns lite av en oro för säker med dessa avhopp. Det är inte bra. Hörnet innan du går nerför kullen (15) där du har en vägg rakt på, vänd tre, och sedan gropen ingången också. Det är inte fantastiskt."
Den pit-lane ingång är mot slutet av en 2,1 kilometer rak, där bilar förväntas resa över 200 mph, och har en tight chicane.
Det område som styrs av pit-lane hastighetsgränsen börjar inte förrän efter chikanen.
Red Bulls Daniel Ricciardo sade gropen posten "kommer att vara ganska cool" eftersom, eftersom det är faktiskt en del av loppet, det fanns "mellan halv-en sekund och en sekund" för en förare att vinna i chikan.
Men Rosberg svarade: "Ja, men det är också en stor olycka att råka ut för om man går lite mer än så."
McLaren tvåfaldig mästare Fernando Alonso, som är tävlingens officiella ambassadör, spelade ner frågan.
"Det finns några hörn förmodligen vi kommer att prata om", sade han. "Några andra som vi behöver åka på bilen först och se hur de känner.
"När det gäller säkerhet körde FIA många simuleringar när det gäller hur man gör avrinningen tillräckligt säker. Vissa av dem är säkra nog, vissa av dem kanske ser små ut men det är alltid bättre än Monaco, till exempel. Det kan inte vara värre än så."
FIA har ännu inte besvarat BBC Sports begäran om svar.
Prenumerera på BBC Sport nyhetsbrev för att få vårt tips på nyheter, funktioner och video skickas till din inkorg.
Ledande Formel 1 förare har ifrågasatt säkerheten i den nya Baku street krets som kommer att vara värd söndagens europeiska Grand Prix.