Né le 10 août 1923 à Varsovie, Joseph Bialot passe sa jeunesse à Paris, où sa famille s'est installée en 1930. Il habite alors le quartier populaire de Belleville, qui lui inspirera son livre Babel ville, en 1980.

Militant de l'Union de la jeunesse juive, il est arrêté en juillet 1944 et déporté à Auschwitz jusqu'en 1945.

Dès son retour, il consigne puis détruit les souvenirs terribles de cette période. Ils alimenteront des années plus tard des livres poignants parsemés d'humour juif: La nuit du souvenir (1990), C'est en hiver que les jours rallongent (2002).

Après la guerre, Joseph Bialot reprend avec ses parents l'atelier de bonneterie familiale du quartier parisien du Sentier.

Autodidacte et passionné de romans policiers, il ne commence à publier qu'à 55 ans, après avoir suivi les cours de la faculté de Vincennes. Il est alors directeur commercial d'une entreprise de prêt-à-porter. Ce sera le cadre de son premier roman noir, Le salon du prêt-à-saigner, Grand prix de littérature policière, en 1979.

Après de nombreux romans chez Gallimard, dont une douzaine à la Série Noire, tels Rue du chat crevé ou Un manteau de Saint-Martin, Joseph Bialot, poursuivi par les séquelles de la déportation, s'est orienté vers le roman historique et les récits liés à «un passé qui ne passe pas», disait-il.

Il publie La station Saint-Martin est fermée au public (Fayard, 2004), 186 marches vers les nuages (Métailié, 2009) ou encore Votre fumée montera vers le ciel (L'Archipel 2011), à paraître chez Pocket en 2013.

Un autre de ses livres, À la vie! (La Manufacture des livres, 2010), est une saga familiale se déroulant sur près d'un siècle.