Le groupe a fait ses débuts en publiant le single Seventeen Years sur Evan et son frère E \ * Rock 's record label Audio Dregs aux États-Unis et Rex Records au Royaume-Uni.
En 2004, ils ont publié leur premier album Ratatat qui comprend des chansons telles que Seventeen Years, l'Allemagne à l'Allemagne et Desert Eagle.