Sergio Rubini nasce a Grumo Appula da genitori originari di Gravina in Puglia (comuni ambedue del barese), figlio d'un capostazione.

Dopo aver terminato gli studi nel Liceo Scientifico Federico II di Altamura, nel 1978 si trasferisce a Roma per frequentare l'Accademia nazionale d'arte drammatica, che abbandonerà dopo soli due anni. Suona il pianoforte.

Grande appassionato di teatro, riesce a lavorare con importanti registi quali Antonio Calenda, Gabriele Lavia, Enzo Siciliano ed Ennio Coltorti.

Dopo alcune esperienze radiofoniche, esordisce sul grande schermo nel 1985 con Figlio mio, infinitamente caro..., a cui faranno seguito nel corso di un anno Desiderando Giulia e Il caso Moro. Nel 1987 svolse i provini per interpretare il ruolo di Fellini giovane per la pellicola Intervista, e con sua grande sorpresa riuscì ad ottenere la parte. Anche se il maestro di Rimini lo considerava più somigliante a Vittorio De Sica che a sé stesso, appena lo vide di persona per la prima volta gli disse: "Complimenti, signor Rubini, lei, all'opposto della maggioranza degli attori, assomiglia alle sue fotografie". Il primo ruolo da protagonista lo ottiene lo stesso anno nell'opera prima di Giuseppe Piccioni, Il grande Blek.

La sua esperienza nel cinema subisce una svolta nel 1989, anno in cui incontra l'autore e sceneggiatore Umberto Marino, con cui inizierà un lungo sodalizio artistico.

Nel 1990 esordisce come regista con La stazione, film tratto da un'opera teatrale proprio di Marino con cui vince come miglior film alla Settimana internazionale della critica al Festival di Venezia, cui seguono La bionda (1993), la commedia Prestazione straordinaria (1994), sul tema delle molestie sessuali, Il viaggio della sposa (1997), Tutto l'amore che c'è (2000), L'anima gemella (2002), L'amore ritorna (2004), La terra (2006), Colpo d'occhio (2008), L'uomo nero (2009), Mi rifaccio vivo (2013) e Dobbiamo parlare (2015).

Il suo modo di fare cinema sarà influenzato anche da due figure fondamentali: l'attrice Margherita Buy, compagna di lavoro e poi di vita, e il regista Gabriele Salvatores che, con Nirvana (1997), Denti (2000) e Amnèsia (2002), ne estrapolerà l'aspetto surreale.

Attraverso Salvatores, Sergio Rubini entra in contatto con il gruppo, che comprende una grossa fetta del Teatro dell'Elfo (Bebo Storti, Antonio Catania, Elio De Capitani, Paolo Rossi, Claudio Bisio, Gigio Alberti) e altri attori come Diego Abatantuono e Silvio Orlando.

Nel frattempo continua a lavorare come attore in film di altri registi, come Giuseppe Piccioni (Chiedi la luna, 1991), Carlo Verdone (Al lupo al lupo, 1993), Giuseppe Tornatore (Una pura formalità, 1994), Pino Quartullo (Storie d'amore con i crampi, 1995), Francesca Archibugi (L'albero delle pere, 1998), Anthony Minghella (Il talento di Mr. Ripley, 1999), Alessandro Piva (Mio cognato, 2003), Mel Gibson (La passione di Cristo, 2004); Giovanni Veronesi (Manuale d'amore, 2005; Manuale d'amore 2 - Capitoli successivi, 2007; Genitori & figli - Agitare bene prima dell'uso, 2010). Le collaborazioni con Alessandro D'Alatri (Commediasexi, 2006), Giulio Manfredonia (Qualunquemente, 2011), Ettore Scola (Che strano chiamarsi Federico, 2013) ottengono scarso riscontro ai botteghini.

Da diversi anni è docente di recitazione cinematografica presso l'Accademia nazionale d'arte drammatica; tra i suoi progetti didattici più importanti si ricordano i lungometraggi 6 sull'autobus (2012) e Fuori sede (2016), realizzati con gli allievi di recitazione e regia dell'accademia.

Nel 2020 è regista e attore in uno spot pubblicitario della Nuova Barilla.