¿Cómo puedo cambiar la referencia a un nuevo objeto?

De ninguna manera.

No se puede separar la referencia del referente.

A diferencia de un puntero, una vez que una referencia está vinculada a un objeto, no se puede «modificar» para que refiera a otro objeto. La propia referencia no es un objeto (que no tiene identidad, tomar la dirección de una referencia que da la dirección del referente, recuerde: la referencia es su referente).

En ese sentido, una referencia es similar a un puntero constante, como int* const p; (a diferencia de un puntero a un constante como const int* p;). Pero por favor, no confunda las referencias con los punteros, que son muy diferentes desde el punto de vista del programador.

/*Tomado de C++ FAQ Lite*/