La clave pública sin la clave privada no sirve de nada, así que necesitarían tu clave privada para poder tratar de conseguir la passphrase a través de la fuerza bruta. Además llevaría un buen rato.
mmm mira, uso bitwise tunellier y al importar una clave privada con passphrase me pide escribir el passphrase, el mismo me dice si la passphrase es correcta o no. y el no tiene la clave publica. mm a ver si tengo los conecptos claros, que siempre me hago bolas: Clave Publica = La que se queda en el server. (authorized_keys) Clave Privada = La que uno carga y usa para entrar al server