La intrusión de forma remota requiere que algún servicio que esté corriendo esa máquina sea vulnerable y tenga suficientes permisos o bien realizas una escalada de privilegios. Por ejemplo, edl FTP: puedes acceder como usuario, si tienes un pass y un nombre de usuario, sin embargo no puedes borrar ni cambiar (por ejemplo, depende de los permisos, obviamente). En éste caso, necesitas hacer una escalada de privilegios.
El brutus no funcionará si tiene un baneo de IP por cada 3 intentos, por ejemplo. O tardarás 150 años.

Si cada vez te da uno diferente, ¿no será que te están cogiendo y lo cambian?.