Oczywiście, jest to konstrukcja poprawna. Wyrażenie "I'd rather.." jeśli mamy dwa różne rzeczowniki w zdaniu ( I i You w tym wypadku) to przyjmuje dla teraźniejszości formę czasu Past Simple,ex. /I'd rather you didn't go out tonight./ Zaś dla przeszłości formę czasu Past Perfect.
Jeśli jest jeden rzeczownik (np I) to stosujemy bare infinitive. ex. I'd rather not do this.