Recours contre le paiement d'un préavis suite à un vice de consentement

Bonjour, Nous vous contactons car nous avons signé un bail locatif le 25/11/2020 et nous souhaitons le rompre pour vice caché. Voici la situation : nous avons entrepris des démarches de recherche d'appartement il y a 6 mois car dans notre logement actuel nous avons un voisin au dessus qui fait du bruit. Nous souhaitons donc un dernier étage bien insonorisé. Après plusieurs visites nous faisons la visite d'un appartement au dernier étage et le propriétaire ancien occupant il y a 1 an et la locataire dans les lieux depuis 1 an, nous assurent que le logement est silencieux et bien isolé car lui même cadre dans le BTP, il met un point d'honneur à la tranquillité. Nous avons bien stipulé que nous déménagions à cause du bruit. Après réflexion et même si l'appartement n'a pas été un coup de coeur nous privilégions le calme pour notre santé. Nous avons signé le bail le mercredi 25 novembre. Nous nous sommes rendus dans l'appartement pour faire du ménage samedi 28 , nous entendons un peu de bruit du voisinage mais nous ne sommes pas restés longtemps dans l'appartement car nous avions prévu d'y retourner le lendemain. De retour dimanche dans l'appartement, nous entendons les voisins d'à coté et le voisin du dessous complètement ivre comme si il était dans l'appartement en plus de sentir sa consommation de cigarette preuve de la mauvaise isolation de cet appartement. (nous avons des preuves audio) Impossible pour nous de vivre dans cet appartement, je souffre de problème de santé à cause du bruit que nous subissons dans l'appartement actuel des bruits qui sont moindre par rapport au nouveau ... Nous avons contacté le propriétaire pour lui signalé ce problème et pour mettre fin au bail pour vice caché en lui disant que nous réglons la semaine du 25 au 30 novembre et que nous avons récuré son appartement qui était très sale. Il ne souhaite pas qu'on la joue à l'amiable et demande une lettre AR et un préavis de 1 mois : ce qui est impossible pour nous. Notre question quels sont nos recours pour ne pas payer ce mois de préavis ? car pour nous si le propriétaire avait été honnête nous n'aurions pas pris son logement . Merci pour votre retour, Bien cordialement