Esta forma de autentificación nos permite incrementar la seguridad y facilitar el mismo mediante el servidor cuando estamos estableciendo una conexión por SSH, con ausencia de esta clave (Archivo que contiene el Key) será imposible conectarnos. El funcionamiento es el siguiente, al generar la clave nos crea dos archivos, uno contiene la clave pública que es la que subimos al servidor y el otra es la privada, esta es utiliza por el usuario desde su pc, móvil, o lo que venga. Dicha clave debe ser  configura a una determinada cuenta de usuario, y abra que cambiar algunos parámetros de configuración al servicio del SSH para permitir esta forma de autentificación. Manos a la obra:
Los dos primeros comandos se ejecutan desde un equipo (Que no es el Servidor), consiste en la creación de la clave pública y privada, luego el archivo de la clave publica se sube al servidor.
ssh-keygen -t rsa -b 4096 -f /home/beta/.ssh/id_server
scp id_server.pub [email protected]:
rm /home/beta/.ssh/id_server.pub
NOTA: Si queremos incrementar mucho mas el nivel de seguridad, podremos definir una contraseña al passphrase, de esta forma, cada vez que tratamos de conectarnos nos las pedirá, por lo que tendremos que olvidarnos de autentificarnos sin contraseña.
Ahora nos toca configurar el servidor, es importante recordar que aquí estaremos asignándole una clave pública a un determinado usuario, para esta situación usaremos el usuario root como ejemplo.
Agregamos el contenido de la clave pública a un archivo del usuario root que indica que clave es la tiene acceso, eliminamos el archivo de la clave publica y cambiamos los permisos:
cat /root/id_server.pub >> /root/.ssh/authorized_keys
rm /root/id_server.pub
chmod 600 /root/.ssh/authorized_keys

A configurar el servicio del SSH:

vim /etc/ssh/sshd_config
Verificamos que las propiedades estén definidas de la siguiente forma y en caso de no existir alguna de ellas, deberá agregarla:
RSAAuthentication yes
PubkeyAuthentication yes
ChallengeResponseAuthentication no
PasswordAuthentication no
UsePAM no

Guardamos, salimos y reiniciamos el servicio para que los cambios tengan efecto:

service ssh reload
Ahora nos toca probar desde nuestro PC si tenemos acceso usando la clave privada:
ssh –i /home/beta/.ssh/id_server [email protected] 

Si todo esta bien configurado no deberíamos tener ningún tipo de problema al conectarnos.

Para mayor información, documentarse con la comunidad de Ubuntu aquí.