Debido a alguna extraña razón (o un puñetero bug), después de actualizar el portátil a Ubuntu Hardy, la tecla Supr se negaba a funcionar. Así que puesto otra vez a indagar alguna posible solución, me encontré con información de como remapear teclas, y lista de símbolos que se pueden mapear.
La solución final es tan fácil como ejecutar el siguiente comando:
xmodmap -e "keycode 242 = Delete"
Y si ahora funciona de forma correcta la tecla, ejecutar:
gedit ~/.Xmodmap
y en el fichero añadir esta línea
keycode 242 = Delete
guardarlo y cerrrar el editor. A partir de ahora la tecla debería funcionar correctamente.