I Celibate Rifles di Sydney vennero formati nell 1979 e si posero alla testa del punk-rock Australiano con l'EP But Jacques The Fish (1982), un lavoro che conservava le inflessioni sarcasticamente clownesche dei Sex Pistols: Let's Get Married, 24 Hours e Tubular Green sono degne delle migliori slam dance britanniche, e Kent's Theme aggiunge un pizzico di epica western.

Sideroxylon (Hot, 1983) attenuò molto quell'impeto punk, assestandosi a metà strada fra baldanzoso ed epico garage-rock da party (Killing Time, Where Do I Go e soprattutto God Squad), e commosse ballate di strada alla Replacements (This Week). Il singolo Pretty Pictures, che è sostanzialmente una power ballad, e il singolo Merry Xmas Blues, che è sostanzialmente una novelty, sono tutti lavori preparatori per la stagione matura.

Nel giro di pochi anni, però, i Rifles si ricostruirono un sound e una carriera nell'ambito del punk-metal.
Su Celibate Rifles (1984), infatti, che la fusione di Radio Birdman e Ramones raggiunge un livello ottimale: il registro profondo e sinistro del cantante Damien Lovelock e il barrage creativo dei chitarristi Dave Morris e Kent Steadman (che alternano i riff ora "hendrixiani" ora marzialmente folk) alimentano un sound, quello selvaggio di Wild Desire e Kiss Me Deadly, le cui radici risalgono in realtà agli albori del rock and roll. Le trovate subdole (e un po' verbose) di Thank You America e Darlinghurst Confidential aggiungono un minimo di personalità.

L'intensità di quel lavoro viene doppiata l'anno dopo con il singolo Sometimes e l'album The Turgid Miasma Of Existence (Hot, 1986). Le Bill Bonney Regrets, No Sign e Conflict Of Instinct (degna dei Devo) sono all'altezza dei loro momenti più furenti.

Mina Mina Mina (1986) è un'antologia dei primi anni.

Roman Beach Party (What Goes On, 1987) ha già perso molto di quella verve, anche se Wonderful Life e lo strumentale Frank Hyde hanno un loro fascino. Meglio forse l'EP Dancing Barefoot, con le grintose The More Things Change e Junk.

Ma quello di Blind Ear (Hot, 1989) è ormai un sound adulto, sia che affondi gli artigli nell'hardrock (il singolo Johnny) sia che indulga nella power ballad (Wonderful Life e Electravision Mantra). Gli spunti glam (O Salvation) e folk (Sean O'Farrell) tradiscono una certa irrequietezza fra i ranghi.

Platters Du Jour (Hot, 1990) raccoglie i singoli.

Sofa (1993) è un'antologia della carriera.

Passano tre anni prima che il gruppo ritorni in studio per Heaven On A Stick (Hot, 1992), disco fallito ma che vanta una Light Of Life in autentico stile Radio Birdman.

Ancor più stanco Spaceman In A Satin Suit (Hot, 1994), nonostante Spirits e City Of Hope. I Celibate Rifles erano ormai un gruppo di grunge, e in quel genere questo album era superiore alla media.

La loro saga continuò, per lo più inalterata, con A Mid-stream of Consciousness (2002) e Beyond Respect (2005), contenente You Won't Love Me.

Fondendo Ramones e Fleshtones, i Celibate Rifles pervennero a una forma articolata di garage-rock che costituisce il naturale trait d'union fra la generazione dei Radio Birdman e quella dei Birthday Party.

Damien Lovelock è morto per un tumore nell'agosto 2019, all'età di 65 anni.