Primero desinstale el php 5.1:
yum erase php php-common php-cli
Esto removera php y todas sus dependencias. Una vez desinstalado instale php 5.3:
php install php53*
El comando anterior instala todos los paquetes php53, si desea sólo instalar algunos, especifique los nombres de ellos en lugar de php53*.
Espero y le sea útil.
Cuando dices
php install php53*
quieres decir
yum install php53*
Así es Andy. Gracias por tu comentario.
Excelente, luego de remover utilizar yum install php53* y listo.