Guide visuel complet — De l'onde sonore à la transcription
Transforme une onde sonore en texte, mot par mot.
Un STT moderne (Whisper, Canary) utilise une architecture encoder-decoder : l'encoder compresse l'audio en représentations, le decoder génère le texte token par token. Tout repose sur des Transformers, comme les LLM.
| Section | Ce que tu vas apprendre |
|---|---|
| 🎵 Audio | Onde sonore, échantillonnage, sample rate |
| 📊 Mel Spectrogram | FFT, fréquences, perception humaine |
| 🔢 Features | Log-mel, normalisation, format d'entrée |
| 🏗️ Encoder | Architecture Transformer, convolutions |
| 🔮 Decoder | Génération auto-régressive, cross-attention |
| ⏱️ Timestamps | Word-level, segment-level, alignement |
| 🌍 Langues | Détection automatique, multilingual |
| 📏 Chunking | 30 secondes, overlap, VAD |
| ⚡ Métriques | WER, RTFx, latence |
| 🔧 Optimisations | CTranslate2, int8, batching |
| 🆚 Modèles | Whisper vs Canary vs Parakeet |
Tout commence par une vibration de l'air, capturée par un microphone.
L'audio est une suite de nombres représentant l'amplitude du son à chaque instant. Whisper attend du mono 16 kHz. Un audio de 3 secondes = 48 000 valeurs flottantes entre -1 et +1.
Nombre d'échantillons par seconde. 16 kHz = standard STT (suffisant pour la voix humaine).
Précision de chaque échantillon. 16-bit = 65 536 niveaux possibles.
Sample rate = 2× la fréquence max. 16 kHz capture jusqu'à 8 kHz (voix = 300-3400 Hz).
STT = mono. Stereo est downmixé (moyenne des canaux).
Pourquoi 16 kHz et pas 44.1 kHz ?
La voix humaine intelligible est concentrée entre 300 Hz et 3400 Hz (bande téléphonique). 16 kHz capture jusqu'à 8 kHz, largement suffisant. Plus de samples = plus de calcul pour rien.
Preprocessing courant :
• Resampling (ffmpeg, librosa) si source ≠ 16 kHz
• Normalisation amplitude (peak ou RMS)
• Conversion stereo → mono
• Suppression du silence (VAD)
Transformer l'onde temporelle en représentation temps-fréquence, adaptée à l'oreille humaine.
Le Mel Spectrogram transforme l'audio en "image" temps-fréquence. L'axe X = temps (frames de 10ms), l'axe Y = fréquences (80 bandes mel). Chaque pixel = énergie dans cette bande à cet instant. C'est ce que "voit" l'encoder.
Short-Time Fourier Transform. FFT sur fenêtres glissantes (25ms, hop 10ms).
Une "colonne" du spectrogramme = 10ms d'audio analysé.
Une bande de fréquences. 80 bins = 80 "hauteurs" de son distinctes.
Décalage entre fenêtres. 10ms = 100 frames/seconde.
Pourquoi pas spectrogramme linéaire ?
Un spectrogramme linéaire aurait autant de bins pour 0-1000 Hz que pour 7000-8000 Hz. Or l'information vocale est concentrée dans les basses fréquences. L'échelle mel compresse les hautes fréquences = représentation plus efficace.
Paramètres Whisper :
• n_fft : 400 (fenêtre de 25ms à 16kHz)
• hop_length : 160 (10ms)
• n_mels : 80 (ou 128 pour large-v3)
• fmin : 0 Hz, fmax : 8000 Hz
Normaliser et formater le spectrogramme pour le réseau de neurones.
Le log compresse la dynamique audio (perception humaine = logarithmique). La normalisation centre les valeurs autour de 0 avec écart-type ~1, ce qui aide la convergence du réseau. Le tensor final est paddé à 30 secondes (3000 frames).
Spectrogramme mel passé au log. Standard en speech recognition.
Ajout de zéros pour atteindre 30s. L'attention mask ignore ces frames.
Permet de traiter plusieurs audios en parallèle sur GPU.
Souvent on utilise 10×log10 pour avoir des dB. Même idée que log.
Code simplifié (faster-whisper) :
mel = librosa.feature.melspectrogram(y=audio, sr=16000, n_mels=80)
log_mel = np.log10(np.maximum(mel, 1e-10))
normalized = (log_mel - MEAN) / STD # stats globales Whisper
tensor = torch.tensor(normalized).unsqueeze(0) # (1, 80, T)
Alternative : MFCC
Les MFCC (Mel-Frequency Cepstral Coefficients) appliquent une DCT en plus. Utilisés historiquement, mais les réseaux modernes préfèrent les log-mel bruts.
Transformer le spectrogramme en représentations sémantiques exploitables par le decoder.
L'encoder Whisper est un Transformer qui traite le spectrogramme. Les convolutions initiales réduisent la résolution temporelle (3000→750 frames). Les 32 couches de self-attention permettent à chaque frame de "voir" tout l'audio. Output : une représentation dense par frame de 40ms.
Couches convolutionnelles initiales. Réduisent la séquence et projettent vers d_model.
Chaque position attend à toutes les autres. Capture les dépendances longues.
Dimension des embeddings internes. 1280 pour large = vecteurs de 1280 nombres.
Réduction temporelle. 4× = 1 frame encoder représente 40ms d'audio.
Pourquoi des convolutions avant le Transformer ?
Le spectrogramme a 3000 frames pour 30s. L'attention a une complexité O(n²). Avec 3000 positions, ça fait 9 millions d'opérations par couche. Les convolutions réduisent à 750, soit 562 500 opérations. Gain de 16×.
Différence avec un encoder LLM :
• LLM encoder (BERT) : tokens discrets en entrée
• STT encoder : signal continu (spectrogramme)
• Les deux utilisent self-attention, mais le preprocessing diffère
Transformer les représentations audio en tokens texte, un par un.
Le decoder génère le texte token par token (auto-régressif). À chaque étape : (1) self-attention sur les tokens déjà générés, (2) cross-attention vers l'encoder pour "regarder" l'audio, (3) prédiction du prochain token. Le KV cache évite de recalculer les tokens passés.
Chaque token dépend des précédents. Génération séquentielle, pas parallèle.
Le decoder "interroge" l'encoder : Q vient du decoder, K/V de l'encoder.
Empêche de voir les tokens futurs. Position N ne voit que 1...N-1.
<|startoftranscript|>, <|fr|>, <|transcribe|>, <|endoftext|>
Pourquoi encoder-decoder et pas encoder-only ?
L'audio et le texte ont des longueurs différentes (750 frames → ~20 tokens). Le decoder permet une correspondance flexible. Un CTC (encoder-only) force un alignement monotone.
Beam search vs Greedy :
• Greedy : prend le token le plus probable à chaque étape
• Beam search : garde les N meilleures hypothèses, meilleure qualité mais plus lent
• faster-whisper utilise beam_size=5 par défaut
Température :
Whisper utilise temperature=0 par défaut (greedy). Si échec (trop de répétitions), fallback à temperature=[0.2, 0.4, 0.6, 0.8, 1.0]
Associer chaque mot ou segment à son instant dans l'audio.
Whisper génère des timestamps de 2 façons : (1) segment-level via des tokens spéciaux <|0.00|> intégrés au vocabulaire, (2) word-level via l'alignement des poids de cross-attention entre decoder et encoder. Le word-level est plus lent mais indispensable pour le sous-titrage précis.
Indiquent où le decoder "regarde" dans l'audio pour chaque token généré.
Dynamic Time Warping. Aligne séquences de longueurs différentes.
Whisper a 1500 timestamps possibles pour 30s (tokens <|0.00|> à <|30.00|>).
Outil qui améliore les word timestamps avec forced alignment (wav2vec2).
Comment faster-whisper calcule les word timestamps ?
1. Extrait les poids de cross-attention (decoder → encoder)
2. Pour chaque token texte, identifie les frames audio avec le plus de poids
3. Applique DTW pour lisser l'alignement
4. Convertit frame index → secondes
Problèmes courants :
• Mots très courts (articles) : timestamps imprécis
• Musique/bruit : alignement dérive
• Répétitions : Whisper peut "sauter" ou répéter des segments
Comment Whisper identifie et transcrit 99+ langues.
Whisper détecte la langue en analysant les 30 premières secondes via l encoder, puis génère le token de langue approprié. Le modèle peut transcrire (même langue) ou traduire (vers anglais). La détection fonctionne bien pour les langues avec beaucoup de données d entraînement.
Les modèles .en sont anglais-only. Les autres supportent 99 langues.
Changement de langue mid-phrase. Whisper gère mal, détecte une langue dominante.
Mode speech-to-English. Transcrit ET traduit vers anglais en un pass.
Détection automatique. Spécifier la langue évite les erreurs de détection.
Qualité par langue (WER approximatif) :
• Anglais : ~3-5% (excellent)
• Français, Allemand, Espagnol : ~5-8% (très bon)
• Langues asiatiques : ~10-15% (correct)
• Langues rares : ~20%+ (variable)
Forcer la langue :
Si tu sais que l audio est en français, utilise language="fr" pour éviter les erreurs de détection et accélérer légèrement le traitement.
Pourquoi et comment diviser les longs audios en segments de 30 secondes.
Whisper a ete entraine sur des segments de 30 secondes max. Au-dela, le positional encoding ne generalise pas et le modele hallucine ou repete. Pour les longs audios : decouper en chunks, traiter, concatener. Le chevauchement (overlap) evite de couper les mots.
Segment de 30s. Spectrogramme de (80, 3000) frames.
Voice Activity Detection. Detecte les silences pour couper intelligemment.
Chevauchement entre chunks pour eviter de couper mid-word.
Position actuelle dans l audio. Avance apres chaque segment transcrit.
Strategie faster-whisper :
1. Transcrit 30s, detecte le dernier timestamp valide
2. Avance (seek) jusqu a ce timestamp
3. Recommence avec un nouveau chunk
4. VAD optionnel pour skipper les silences
Probleme des repetitions :
Si Whisper genere "merci merci merci merci...", c est souvent un chunk mal decoupe ou du silence. Solutions : VAD, condition_on_previous_text=False, compression_ratio_threshold.
WER pour la qualite, RTFx pour la vitesse.
WER mesure la qualite (% d erreurs par rapport a une reference humaine). RTFx mesure la vitesse (combien de fois plus rapide que le temps reel). Sur H100 avec 60 conversations de 5 min traitees en batch, tu atteins RTFx ~600 = excellent.
Character Error Rate. Comme WER mais au niveau caractere. Utile pour langues sans espaces.
Temps entre fin de parole et debut de transcription. Critique en streaming.
Heures d audio traitees par heure. RTFx × utilisation GPU.
Temps avant le premier mot. Encoder (prefill) domine.
WER vs WER normalise :
Le WER brut est sensible a la ponctuation et la casse. Le WER normalise (lowercase, sans ponctuation) est plus juste pour comparer des systemes.
Calculer le RTFx :
Si tu traites 300 minutes d audio en 30 secondes :
RTFx = (300 × 60) / 30 = 600
= 600 secondes d audio par seconde de calcul
CTranslate2, quantization, batching et autres techniques.
faster-whisper (CTranslate2) est ~4x plus rapide que Whisper HF. int8 ajoute ~30-50% sans perte notable. Batching sature le GPU pour maximiser le throughput. Combine les trois = RTFx 600 sur H100.
Moteur d inference C++ optimise pour les Transformers. Backend de faster-whisper.
Precision des calculs. int8_float16 = bon compromis speed/quality.
Modele leger de Voice Activity Detection. Detecte parole vs silence.
SDK NVIDIA pour optimiser les modeles. Compile des kernels specifiques au GPU.
Config optimale faster-whisper sur H100 :
model = WhisperModel("large-v3", device="cuda", compute_type="int8_float16")
batched = BatchedInferencePipeline(model, batch_size=32)
Pourquoi pas vLLM pour Whisper ?
vLLM supporte Whisper depuis peu mais moins mature que faster-whisper. Avantage : continuous batching natif. A tester si tu scales davantage.
Comparatif des principaux modeles STT en 2024-2025.
Pour le francais + word timestamps + ponctuation, Whisper large-v3 reste la reference. Turbo est 2x plus rapide avec qualite quasi identique. Canary (NVIDIA) excelle en streaming. Parakeet ecrase tout en anglais only.
Framework NVIDIA pour speech AI. Canary et Parakeet en font partie.
Entrainer un petit modele a imiter un gros. distil-whisper = eleve de large-v3.
Token-and-Duration Transducer. Architecture NVIDIA pour timestamps precis.
Connectionist Temporal Classification. Alternative au decoder, plus simple mais moins flexible.
Migration vers Canary :
Si tu veux passer de Whisper a Canary :
• Installer NeMo toolkit
• Convertir pipeline audio (meme format 16kHz mono)
• API differente mais concepts similaires
Whisper-large-v3-turbo-ct2 :
Version CTranslate2 du turbo, directement utilisable avec faster-whisper :
model = WhisperModel("deepdml/faster-whisper-large-v3-turbo-ct2")