"I'd prefer" ou "I'd rather"?

ambos servem pra expressar a mesma coisa, mas há uma observação, veja o exemplo

Would you like some coffee? (gostaria de um café?)
I'd rather have some water, please (prefiro agua, por favor)
ou
I'd prefer to have some water, please (prefiro agua, por favor)

veja que depois do "I'd prefer" vem o verbo no infinitivo enquanto no "I'd rather" o verbo aparece sem o "to"