Han är den första amerikanska utrikesministern som besöker staden.
I ett möte med Somalias president under knapp säkerhet på flygplatsen sade han: "Nästa gång jag kommer måste vi bara kunna gå ner till centrum".
USA stöder Somalias regering i dess kamp mot den islamistiska militanta gruppen al-Shabab, som fortfarande kontrollerar många landsbygdsområden i södra Somalia.
Afrikanska nyheter som det händer: 5 maj 2015
Mötet med president Hassan Sheikh Mohamud och civila ledare hölls på flygplatsen i Mogadishu, eftersom mr Kerry inte lämnar sina starkt befästa områden.
Kerry sade: "Jag besökte Somalia i dag eftersom ert land vänder".
De senaste förändringarna han påpekade var somaliska styrkor som drev ut al-Shabab ur stora städer och en "fastlagd internationell insats" för att få så gott som alla Somalias pirater ur drift.
BBC Somalia analytiker Mary Harper säger att USA spelar en avgörande om kontroversiell roll i Somalia, stödja den svaga centrala regeringen i sin kamp mot al-Shabab.
Al-Shabab-ledare har dödats i amerikanska drönarattacker.
Vår korrespondent påpekar att Amerika är noga med att ta en mindre synlig roll än det gjorde på 1990-talet, när de amerikanska tjänstemännens kroppar släpades genom gatorna i Mogadishu.
Den amerikanske utrikesministern John Kerry har anlänt till den somaliska huvudstaden Mogadishu på ett oanmäld besök.