Natif de la Marne, Jack Ralite adhère au PCF en 1947. Journaliste au quotidien L'Humanité, chargé des pages « culture » de l'édition dominicale, il est élu au conseil municipal d'Aubervilliers en 1959, et devient adjoint d'André Karman.
Député communiste depuis 1973, Jack Ralite entre au gouvernement en juin 1981, devenant ministre de la Santé puis de l'Emploi, dans les 2e et 3e gouvernements de Pierre Mauroy, de 1981 à 1984.
En 1984, il prend la tête de l'administration municipale d'Aubervilliers et siège au conseil régional d'Île-de-France de 1986 à 1992. Il est élu sénateur le 24 septembre 1995 puis réélu le 26 septembre 2004. Il démissionne en 2003 de la mairie d'Aubervilliers au profit de Pascal Beaudet, mais demeure conseiller municipal. Il a également été vice-président de Plaine Commune de 2000 à 2004.
Homme de culture, spécialiste reconnu des questions culturelles au Parlement où il siège au sein de la commission aux affaires culturelles, il s'engage pour l'exception culturelle et contre les accords de libéralisation du commerce projet d'Accord Multilatéral sur les Investissements (AMI) à l'OCDE et AGCS de l'Organisation mondiale du commerce. On lui doit également d'avoir organisé avec Carlo Ossola la rencontre, à Aubervilliers, entre des élèves du lycée Le Corbusier et des professeurs du Collège de France autour de grands textes de la littérature mondiale.
En sa qualité de ministre, il inaugure le 13 juillet 1984 en compagnie de Louis Mermaz et Christian Nucci, le musée de la Révolution française.
Animateur des États généraux de la culture depuis 1987, et président des Carnets Bagouet depuis 1997, il siège aux conseils d'administration du Théâtre du Peuple depuis 1999, du Festival Paris quartier d'été depuis 1996, de la Cité de la musique entre 1999 et 2006, du Théâtre national de la Colline et de l'Ensemble intercontemporain depuis 2002 et du Centre des monuments nationaux de 2004 à 2008.
Il est aussi membre du Haut Comité pour le logement des personnes défavorisées, du Conseil national de l'innovation pour la réussite scolaire, et de la fondation Agir contre l'exclusion.
Il refuse une quatrième fois la Légion d'honneur en 2012 : « Je n'ai pas refusé trois fois la Légion d'honneur sous la gauche pour l'accepter une fois sous la droite. »
Sa mort est annoncée le 12 novembre 2017 par la mairie d'Aubervilliers.
En mars 2018, Stéphane Hablot, Maire de Vandoeuvre-lès-Nancy, a inauguré l'Esplanade Jack Ralite, face au Centre Culturel André Malraux.