Killing Joke образовались в 1979 году, когда барабанщик Пол Фергюсон (игравший в Matt Stagger Band) встретился в лондонском Ноттинг-хилле с Джэзом Коулманом и оба решили создать в музыке «…нечто, способное выразить всю красоту и утонченность атомного века — в стиле, звуке и содержании».

К группе вскоре присоединились басист The Rage) Мартин «Youth» Гловер (родился 23 декабря 1960 года) и гитарист Джорди (Georgie; наст. имя — Kevin Walker: родился 18 декабря 1958 года в Честер-ле-Стрит, Дэрем, Англия. Переехав в Ноттинг-хилл, Killing Joke записали дебютный EP Almost Red — на деньги, которые Джэз занял у своей подружки. Пластинка произвела впечатление на Джона Пила, и тот предложил группе записаться у него в студии. В конце 1979 года Killing Joke подписали контракт с Island Records: под этой «крышей» и был образован (в сотрудничестве с художником Майклом Коулзом) их собственный лэйбл Malicious Damage, выпустивший дебютный сингл Wardance (февраль 1980 года)