Por supuesto puedes bajártelo de
kernel.org
y compilarlo a la manera Debian (hay mucha información por ahí). Problema de esto: que tienes que estar pendiente (=muy pendiente si tu servidor cuelga de internet) de las actualizaciones de seguridad mientras que si te quedas con el que viene en la
4.0, de las actualizaciones se encarga el equipo de seguridad de debian y tu sólo tienes que realizar el correspondiente apt-get con la frecuencia debida. Aparte compilar por ti mismo el kernel sin duda es hacer más inestable tu máquina por las dependencia con otros paquetes. En mi opinion, no recomendado.
La otra posibilidad es que te pases a la rama testing de Debian que empezará a incorporar nuevos paquetes desde ya mismo (ya está incorporándolos de hecho) así que con un poco de paciencia podrás tener un 2.6.20 en unas semanas en testing.