Sideroxylon (Hot, 1983) attenuo` molto quell'impeto punk, assestandosi a meta` strada fra baldanzoso ed epico garage-rock da party (Killing Time, Where Do I Go e soprattutto God Squad), e commosse ballate di strada alla Replacements (This Week). Il singolo Pretty Pictures, che e` sostanzialmente una power ballad, e il singolo Merry Xmas Blues, che e` sostanzialmente una novelty, sono tutti lavori preparatori per la stagione matura.

Nel giro di pochi anni, pero`, i Rifles si ricostruirono un sound e una carriera nell'ambito del punk-metal. Su Celibate Rifles (1984), infatti, che la fusione di Radio Birdman e Ramones raggiunge un livello ottimale: il registro profondo e sinistro del cantante Damien Lovelock e il barrage creativo dei chitarristi Dave Morris e Kent Steadman (che alternano i riff ora "hendrixiani" ora marzialmente folk) alimentano un sound, quello selvaggio di Wild Desire e Kiss Me Deadly, le cui radici risalgono in realta` agli albori del rock and roll. Le trovate subdole (e un po' verbose) di Thank You America e Darlinghurst Confidential aggiungono un minimo di personalita`.

L'intensita` di quel lavoro viene doppiata l'anno dopo con il singolo Sometimes e l'album The Turgid Miasma Of Existence (Hot, 1986). Le Bill Bonney Regrets, No Sign e Conflict Of Instinct sono all'altezza dei loro momenti piu` furenti.

Mina Mina Mina (1986) e` un'antologia dei primi anni.

Roman Beach Party (What Goes On, 1987) ha gia` perso molto di quella verve, anche se Wonderful Life e lo strumentale Frank Hyde hanno un loro fascino. Meglio forse l'EP Dancing Barefoot, con le grintose The More Things Change e Junk.

Ma quello di Blind Ear (Hot, 1989) e` ormai un sound adulto, sia che affondi gli artigli nell'hardrock (il singolo Johnny) sia che indulga nella power ballad (Wonderful Life e Electravision Mantra). Gli spunti glam (O Salvation) e folk (Sean O'Farrell) tradiscono una certa irrequietezza fra i ranghi.

Platters Du Jour (Hot, 1990) raccoglie i singoli. Sofa (1993) e` un'antologia della carriera.

Passano tre anni prima che il gruppo ritorni in studio per Heaven On A Stick (Hot, 1992), disco fallito ma che vanta una Light Of Life in autentico stile Radio Birdman.

Ancor piu` stanco Spaceman In A Satin Suit (Hot, 1994), nonostante Spirits e City Of Hope. I Celibate Rifles erano ormai un gruppo di grunge, e in quel genere questo album era superiore alla media.

Their saga continued, mostly unaltered, with A Mid-stream of Consciousness (2002) and Beyond Respect (2005), with You Won't Love Me.

Fondendo Ramones e Fleshtones, i Celibate Rifles pervennero a una forma articolata di garage-rock che costituisce il naturale trait d'union fra la generazione dei Radio Birdman e quella degli Birthday Party.