Kestens Eltern ziehen 1904 nach Nürnberg, in die unmittelbare Nähe des Stadtparks – zunächst in die Martin-Richter-Str. 18, dann in die Ludwig-Feuerbach-Straße 63. Kesten erinnert sich noch an Details aus seiner Kindheit, so an den „süßen Bärendreck“, den er für einen Pfennig in der Bäckerei im Haus kaufte. Der Stadtpark war um die Jahrhundertwende sehr aufwendig angelegt mit Palmen, Rosengärten, Weihern und Denkmälern. Der kleine Hermann geht dorthin zum Spielen, aber, so verrät er, später auch zum Küssen.

Nach dem Besuch der Volksschule in der Bismarckstraße wechselt er 1910 in das Könglich Alte-Gymnasium am Egidienberg. In dieser Zeit wird ein neues Gebäude für die Schule in der Sulzbacher Straße 32 errichtet, das Kesten bis zum Abitur besucht. Die Kestens ziehen in die Fichtestraße 46, er hat einen Schulweg von wenigen Minuten.

Obwohl Kesten Nürnberg auch als aufkommende Industriestadt wahrnimmt, beeindrucken ihn die Altstadt und die großen Namen der Stadt doch mehr. Die Fabriken und Arbeitersiedlungen von Siemens und MAN liegen in der Südstadt und im Westen entlang der Fürther Straße. Sie spielen in der Topografie seiner Romane keine Rolle.

„In den Vorstädten rauchten die Fabrikschlöte, und hämmerten die modernen Maschinen. Aber jeder Gang durch die Altstadt war für uns Kinder ein Weg durch verschollene Jahrhunderte. Du gingst durch ein Tor und warst im Mittelalter. In diesem Haus malte Albrecht Dürer. Drüben saß Hans Sachs, ein Schuster und Poet. Über den Hauptmarkt gingen Martin Behaim oder Peter Henlein, Adam Kraft oder Peter Vischer.“

(Wolfgang Buhl (Hg.): Hermann Kesten. Mit Menschen leben, S.28

Als Kind lernt er die Welt des Kaffeehauses, weniger des fränkischen Wirtshauses, kennen. Er darf als kleiner Junge in das Stammcafe seines geliebten Vaters, in das alte Café Habsburg in der Königsstraße, mitgehen. Dort liest er die guten alten Witzblätter, die Jugend und den Simplicissimus. Als Gymnasiast geht er dann verbotenerweise in das nahe gelegene Intime Theater, um sich moderne Inszenierungen anzusehen.

Anfang der 20er Jahre eröffnet Kestens Mutter Ida einen Trödel für Platin und Felle in der Breiten Gasse 66. Es ist zu vermuten, dass Sohn Hermann im Geschäft mitarbeitet. Aus Briefen mit dem ehemaligen Klassenkameraden Beisler geht hervor, dass die Mutter den Sohn finanziell stützt.

Im Jahr 1926 trifft sich Kesten öfters im Stadtcafé mit dem Literaten Gustav Regler. Der arbeitet als Journalist bei der „Nürnberger-Fürther-Morgenpresse“, einer Zeitung der Deutschen Demokratischen Partei.

Ein Jahr später schreibt Kesten seinen erfolgreichen Debütroman Josef sucht die Freiheit im Parkrestaurant Wanner am Dutzendteich.