Ahí el problema no es el ancho de banda, sino la latencia que tengas en el enlace. Checa con el traceroute a ver que valores en ambos segmentos. Puedes tratar de quitar la capa de encriptación de SSH para disminuir la latencia.