Luís, testei o XBMC direto no Debian, então em um projeto de MediaCenter usei o Raspbmc, Openelec e Xbian, de todos o que mais gostei foi o Xbian pois ele é o Raspbian com o XBMC, além disso ele te permite instalar softwares com Apt via ssh, coisa que o Openelec e Raspbmc não deixa. E para esse meu projeto, precisava configurar um buscador e downloads de torrents, então usei o transmission-daemon e o Add-on do Xbian. Nos Raspbmc e no Openelec, esse plugin não funciona direito devido não ter comunicação com o protocolo RPC usado pelo transmission, ele só instala o cliente com uma interface para o XBMC, então o Xbian resolveu todos esses problemas, e me dá a posibilidade de instalar o que eu quiser via Shell.
Dyego, já compilei o kernel do Debian mesmo, mas do Raspbian ainda não. Assim que tiver a oportunidade (tempo) nós trocamos umas idéias, mas se você já fez a compilação do kernel do Raspbian ou Debian para o Pi, compartilha o que você conseguiu e o que não consegui fazer porfavor, ajudaria a muitos, inclusive eu :)
Eu rodei com soft float mesmo, por isso achei legal o Raspbian que já vem com o hard float.
Só para explicar a lista, Hard/Soft Float refere-se ao conjunto de regras usadas para criação de registos e o retorno das funções ao chamar na pilha, e são necessários para os binários ser compatível com o outros. Soft Float passa ponto flutuante em registros inteiro enquanto o Hard soft passa parametros em registro de ponto flutuante. É possível usar os dois em conjunto mas isso significa que sempre que um valor de ponto flutuante é passado ou retornado de uma função, ela deve ser transferida para um registro de número inteiro, ocasionando perca de perfomace. Saiba um pouco mais no Faq do Raspbian (
http://www.raspbian.org/RaspbianFAQ) e no forum do Debian (
https://wiki.debian.org/ArmHardFloatPort/VfpComparison)