Raikkonen var 0,109 sekunder från sin lagkamrat, med Rosberg 0.237seks utanför takten som Ferrari antydde att de kan utgöra ett hot mot Mercedes i Shanghai.
Hamilton, med en fem-plats rutnät straff som ett resultat av en växellåda förändring, var 0.433seks utanför takten.
Red Bulls Daniel Ricciardo låg femma före Toro Rossos Max Verstappen.
Försvara mästare Hamilton, som spårar Rosberg med 17 poäng i ställningarna, sade att det hade varit "en svår dag" och sade att det hade varit "ganska blåsigt" på banan.
Han tillade: " Ferraris är särskilt stark, så jag tror att vi kommer att ha en kamp i helgen.
"Det verkar som om vi kommer att ha en större kamp än vi någonsin har haft, så det kommer att vara bra för fansen."
Dubbel världsmästare Fernando Alonso, som har fått klartecken att tävla efter att ha missat den sista Grand Prix i Bahrain på medicinska grunder, var 11: e snabbaste, strax före McLaren lagkamrat Jenson Button.
Söndagens kinesiska Grand Prix - den tredje av säsongen - är live på Sport hemsida och radio 5 live på 07:00 BST.
Det var ingen upprepning av de spektakulära vänster-rear misslyckanden som drabbade Williams förare Felipe Massa två gånger och Renaults Kevin Magnussen i den första sessionen.
Massa var 14: e efter laget tydligen löst de två hjul misslyckanden som led av brasilianska i den första övningen.
Williams prestandachef Rob Smedley sade att laget var "rätt säker" de visste vad problemet var men vägrade att gå in på detaljer.
Valtteri Bottas, som var 10:e, sade att laget hade hittat ett problem med "rimfrigång" - avståndet mellan insidan av hjulet och hjulmonteringen.
Magnussen hade också problem med vänster bak i bilen under den första sessionen.
Det visade sig vara ett avstängningsfel och han sprang inte i den andra sessionen som laget arbetade på en lösning.
Ferrari tempo i riktning Mercedes i tidsbladen kan tyckas föreslå att de kan utmana McLaren i helgen, men Ferrari har smickrat att lura redan denna säsong.
Vettel, till exempel, var snabbast i slutträning vid sista loppet i Bahrain, bara för Mercedes bilar att gå en halv sekund snabbare än Ferraris i kval.
"Om vi får allt rätt, kan vi vara lite närmare", säger Vettel. "Men det är bara fredag, så jag skulle inte lägga för stor vikt vid tiden."
Headline varvtider kan vara vilseledande eftersom team kan manipulera bränslebelastningen, medan de tider som anges på race-simulering körs på tyngre bränsle laster kan presentera en mer exakt bild.
På dessa hade Mercedes en klar tempo fördel, även om Raikkonen verkade kunna göra supermjuk däck på vilken de bästa lagen kommer att starta loppet längre i en starkare takt än Rosberg och Hamilton.
Kinesiska Grand Prix Andra övningsresultat
Uppgifter om kinesiska Grand Prix täckning
Ferrari's Kimi Raikkonen och Sebastian Vettel toppade andra övningen vid kinesiska Grand Prix, före Mercedes duo Nico Rosberg och Lewis Hamilton.