Tobias, acho que vale sim!! Ao invés de taxi, que demora mais, você pode pegar o metrô lá no JFK - mais barato e mais rápido.

A única coisa que você vai precisar ficar atento é o tempo mesmo, mas dá pra ir até a cidade, conhecer alguns pontos turísticos - passeios mais demorados não recomendo -, comer em um restaurante legal, tirar umas fotos (Central Park nessa época do ano rende fotos lindas).. 

Se você tivesse um pouquinho mais de tempo, eu indicaria o Storm King Art Center, que é tipo o Inhotim deles. Mas acho que com a limitação de tempo, talvez seja meio complicado fazer a visita.

Boa sorte e boa viagem!