Hoe wij meten.
Elk cijfer op deze site komt van een publieke testset, gescoord met de tooling van het bord zelf. Deze pagina beschrijft precies welke — en waar de vergelijking in ons voordeel uitvalt.
Het model
Vlotspraak is een Whisper-large-v3-afgeleide van 1,55 miljard parameters, fijngetuned vanaf yuriyvnv/whisper-large-v3-high-mixed-nl (Apache-2.0) op publieke Nederlandse datasets. De gewichten zijn commercieel en per tenant licentieerbaar; de evaluatie is open. Het gemeten checkpoint heeft SHA-256 24c19240…0135 — hetzelfde checkpoint achter alle cijfers hieronder.
Twee borden, twee harnassen, nooit door elkaar
Er bestaan twee publieke manieren om Nederlands ASR te meten, en ze zijn niet onderling vergelijkbaar. Ze gebruiken een andere normalisatie én andere splits. Wij houden ze daarom overal apart, ook waar het ons slechter uitkomt.
| Harnas | Testset | n | Scoring | Ons cijfer |
|---|---|---|---|---|
| ASR_NL (Radboud) | Common Voice 17.0 NL | 11.266 | NIST sclite | 3,5% |
| ASR_NL (Radboud) | Medicijnjournaal-30 | 30 | NIST sclite | 11,4% |
| HF Open ASR | fleurs_nl | 364 | board normalizer | 4,63% |
| HF Open ASR | mcv_nl | 1.699 | board normalizer | 4,30% |
| HF Open ASR | mls_nl | 628 | board normalizer | 5,11% |
Beide rijen met CommonVoice gaan over Common Voice, en toch verschillen ze: 3,5% is de volledige 17.0-testsplit met sclite, 4,30% is de subset van het Open ASR-bord met hun eigen normalisatie. Wie die twee optelt of vergelijkt, vergelijkt niets.
Wat wij hebben gecontroleerd
- Lekkage tussen training en test. Bestandsnamen zijn stabiel tussen Common Voice-releases, dus konden wij de overlap exact tellen: 9 van de 11.266 testclips (0,08%) zaten in onze trainingsdata. Het verschil tussen de volledige set en de lekvrije deelverzameling is 0,1 procentpunt.
- Reproductie van het bordcijfer. Wij hebben het model van de incumbent (faster-whisper large-v3) door onze eigen pijplijn gehaald op exact dezelfde clips. Het scoort 4,3% — precies het gepubliceerde bordcijfer. De winst is dus geen artefact van onze decodering.
- Identieke testsets bij de head-to-head. De twee runners schrijven verschillende bestandsnamen en rijvolgordes weg, wat verwarrend oogt. Wij hebben de gesorteerde referenties per configuratie gehasht: identiek voor alle drie de modellen —
54730b37…(fleurs),65932d60…(mcv),579bd72e…(mls). - Onafhankelijke hertelling. Naast de bordscorer hebben wij met jiwer opnieuw geteld. Dat geeft stelselmatig hogere absolute WER's (bij ons 5,49 / 5,41 / 6,29) maar een identieke rangorde. Het verschil is volledig verklaard door de samenstellingssamenvoeging die het bord toepast — in het Nederlands een groot effect. Beide getallenreeksen staan in het artefact.
Wat wij niet claimen
- Wij zijn niet gecertificeerd. De omgeving is ingericht volgens NEN 7510 en BIO2; formele certificering en onafhankelijke audits zijn in voorbereiding, niet afgerond. Wij houden vandaag geen certificaat.
- De Common Voice-vergelijking staat scheef in ons voordeel. Ons model is fijngetuned op de Common Voice-trainsplit; het bordcijfer van 4,3% is zero-shot behaald. Op déze testset is dat een voordeel. Op de medische benchmark speelt dit niet: daar is geen medische trainingsdata gebruikt.
- Wij zijn traag. Op het Open ASR-harnas haalt NVIDIA Parakeet ongeveer zestien keer onze doorvoer (1557 tegen 94 RTFx). Deels de meetopstelling, grotendeels echt: 1,55 miljard parameters tegen 0,6 miljard. Wij kiezen nauwkeurigheid.
- De medische benchmark is klein. Medicijnjournaal-30 beslaat 30 van de 35 HoMed-afleveringen. Het is de beste publieke Nederlandse medische ASR-benchmark die bestaat, maar het is geen grote steekproef.
- Het bord is niet van ons. Onze indiening bij ASR_NL_results staat open bij de vrijwilligers die het beheren; zij hebben hem nog niet samengevoegd.
- Wij claimen geen medisch hulpmiddel. VeraDossier is documentatiesoftware. De uitvoer ondersteunt vastlegging en is niet bedoeld voor diagnose, behandeling, monitoring of preventie; menselijke eindcontrole blijft vereist. Daarmee valt de dienst niet onder de MDR (Verordening (EU) 2017/745).
- De vergeleken versies staan vast in de tijd. De cijfers hierboven zijn gemeten in augustus 2026 op de op dat moment gepubliceerde modelversies. Concurrenten brengen nieuwe versies uit; wij hermeten en actualiseren deze pagina, maar een cijfer is altijd een momentopname van een genoemde versie.
Zelf narekenen
Alles hierboven is publiek. U heeft ons niet nodig om het te controleren.
- ASR_NL_results · PR #7 ↗De indiening met sclite-uitvoer, de controlerun en de lekkage-analyse.
- HuggingFace · modelkaart ↗Evaluatieresultaten, de stamboom van het model en dezelfde voorbehouden.
- Open ASR Leaderboard · issue #187 ↗Het voorstel voor een Nederlandse track, met de head-to-head tegen NVIDIA.
- De zinnen zelf →Per clip de referentie en wat elk model ervan maakte, inclusief onze eigen missers.
Harnas: huggingface/open_asr_leaderboard @ b2dada0b · configuraties nithinraok/asr-leaderboard-datasets · gescoord met normalizer.eval_utils.score_results(multilingual=True, language='nl').
Alle zinnen
De 30 clips die op de startpagina doorgebladerd kunnen worden, hier volledig uitgeschreven — referentie, onze uitvoer en die van beide NVIDIA-modellen, met de woordfouten gemarkeerd. Inclusief de clips waar wij het slechter doen.
- Zij storten in, wij niet
ReferentieIk heb een hongertje.
VeraDossier0,0%Ik heb een hongertje.
NVIDIA Canary-1b-v225,0%Ik heb een lommetje.
NVIDIA Parakeet-TDT-0.6b-v3100,0%Die Käpt'n hungerchen.
- Zij storten in, wij niet
ReferentieZe was verslaafd aan heroïne.
VeraDossier0,0%Ze was verslaafd aan heroïne.
NVIDIA Canary-1b-v20,0%Ze was verslaafd aan heroïne.
NVIDIA Parakeet-TDT-0.6b-v3100,0%The Voss Foslaved and Heroine.
- Zij storten in, wij niet
ReferentieJe moet de maat doorgeven in millimeters.
VeraDossier0,0%je moet de maat doorgeven in millimeters
NVIDIA Canary-1b-v20,0%Je moet de maat doorgeven in millimeters.
NVIDIA Parakeet-TDT-0.6b-v385,7%You moved the matte toe heaver in millimeters.
- Zij storten in, wij niet
ReferentieEigen haard is goud waard.
VeraDossier0,0%eigen haard is goud waard
NVIDIA Canary-1b-v280,0%Eigenhaard is goudwaard.
NVIDIA Parakeet-TDT-0.6b-v340,0%Eigenhaard is goud waard.
- Zij storten in, wij niet
ReferentieDe leerling was het niet eens met de leraar.
VeraDossier0,0%De leerling was het niet eens met de leraar.
NVIDIA Canary-1b-v20,0%De leerling was het niet eens met de leraar.
NVIDIA Parakeet-TDT-0.6b-v377,8%De l'ealing va cette nit eins, mais de l'eur.
- Zij storten in, wij niet
ReferentieZe willen het aantal franchises dit jaar sterk uitbreiden.
VeraDossier0,0%ze willen het aantal franchises dit jaar sterk uitbreiden
NVIDIA Canary-1b-v211,1%Ze wilden het aantal franchises dit jaar sterk uitbreiden.
NVIDIA Parakeet-TDT-0.6b-v377,8%The villa hat Antal Franch is dit jaar steak uitbreiden.
- Zij storten in, wij niet
ReferentieZwarte katten brengen ongeluk.
VeraDossier0,0%Zwarte katten brengen ongeluk.
NVIDIA Canary-1b-v275,0%Zorte kattenbrein ongeluk.
NVIDIA Parakeet-TDT-0.6b-v30,0%Zwarte katten brengen ongeluk.
- Zij storten in, wij niet
ReferentieWest-Vlaanderen ligt ten westen van Oost-Vlaanderen.
VeraDossier0,0%West-Vlaanderen ligt ten westen van Oost-Vlaanderen.
NVIDIA Canary-1b-v266,7%Westvlaanderen ligt aan het westen van Oostvlaanderen.
NVIDIA Parakeet-TDT-0.6b-v333,3%West Vlaanderen ligt ten westen van Oost-Vlaanderen.
- Zij storten in, wij niet
ReferentieNegen maal vijf is vijfenveertig.
VeraDossier0,0%Negen maal vijf is vijfenveertig.
NVIDIA Canary-1b-v260,0%Negen maal vijf is vijf en veertig.
NVIDIA Parakeet-TDT-0.6b-v320,0%Negen maal vijf is vijfendveertig.
- Zij storten in, wij niet
ReferentieDe gefaalde acquisitie had twijfel gezaaid over het management.
VeraDossier0,0%De gefaalde acquisitie had twijfel gezaaid over het management.
NVIDIA Canary-1b-v255,6%De gefaalde acquisitie had twijfelgezaaid overheidsmanagement.
NVIDIA Parakeet-TDT-0.6b-v30,0%De gefaalde acquisitie had twijfel gezaaid over het management.
- Wij exact, zij net fout
ReferentieNeem je ook meteen wat koekjes mee?
VeraDossier0,0%Neem je ook meteen wat koekjes mee?
NVIDIA Canary-1b-v242,9%Neem je ook de tafelkoekjes mee?
NVIDIA Parakeet-TDT-0.6b-v342,9%Neem je ook de thee watjes mee?
- Wij exact, zij net fout
ReferentieKracht is massa maal versnelling volgens Newton.
VeraDossier0,0%Kracht is massa maal versnelling volgens Newton.
NVIDIA Canary-1b-v242,9%Kracht is massamaal versnelling volgens Nieto.
NVIDIA Parakeet-TDT-0.6b-v342,9%Kracht is massamaal versnelling volgens niet.
- Wij exact, zij net fout
ReferentieDe stormkoorden braken alsof het spaghettislierten waren.
VeraDossier0,0%De stormkoorden braken alsof het spaghettislierten waren.
NVIDIA Canary-1b-v242,9%De stoomkoren braken alsof het spaghetti sneeuwde waren.
NVIDIA Parakeet-TDT-0.6b-v342,9%De stoomkorde braken alsof het spaghetti slierte waren.
- Wij exact, zij net fout
ReferentieVele handen maken licht werk.
VeraDossier0,0%Vele handen maken licht werk.
NVIDIA Canary-1b-v240,0%Vele handen maken lichtwerk.
NVIDIA Parakeet-TDT-0.6b-v340,0%Vele handen maken lichtwerk.
- Wij exact, zij net fout
ReferentieHij is heer en meester op het veld.
VeraDossier0,0%Hij is heer en meester op het veld.
NVIDIA Canary-1b-v237,5%Hij is herenmeester op het veld.
NVIDIA Parakeet-TDT-0.6b-v337,5%Hij is heerenmeester op het veld.
- Wij exact, zij net fout
ReferentieZe hadden hun gevel bordeauxrood geschilderd.
VeraDossier0,0%Ze hadden hun gevel bordeauxrood geschilderd.
NVIDIA Canary-1b-v233,3%Ze hadden hun gevel bordeaux rood geschilderd.
NVIDIA Parakeet-TDT-0.6b-v333,3%Ze hadden een gevel bordeaux-rood geschilderd.
- Wij exact, zij net fout
ReferentieKan jij typen zonder te kijken?
VeraDossier0,0%Kan jij typen zonder te kijken?
NVIDIA Canary-1b-v233,3%Kan je iets typen zonder te kijken?
NVIDIA Parakeet-TDT-0.6b-v333,3%Kan je je typen zonder te kijken?
- Wij exact, zij net fout
ReferentieMijn toetsenbord zit vol stof.
VeraDossier0,0%Mijn toetsenbord zit vol stof.
NVIDIA Canary-1b-v240,0%Mijn toetsen boog zit vol stof.
NVIDIA Parakeet-TDT-0.6b-v320,0%Mijn toetsenbakt zit vol stof.
- Wij exact, zij net fout
ReferentieHoeveel tegoed heb jij nog?
VeraDossier0,0%Hoeveel tegoed heb jij nog?
NVIDIA Canary-1b-v240,0%Hoeveel te goed heb jij nog?
NVIDIA Parakeet-TDT-0.6b-v320,0%Hoeveel tegemoet heb jij nog?
- Wij exact, zij net fout
ReferentieKan dat met Uber Eats of heb je liever Deliveroo?
VeraDossier0,0%Kan dat met Uber Eats of heb je liever Deliveroo?
NVIDIA Canary-1b-v230,0%Kan dat met Uber Eats of heb je liever de liver roux?
NVIDIA Parakeet-TDT-0.6b-v330,0%Kan dat met Uber Eat of heb je liever Deliver Woo?
- Wij falen ook
ReferentieAls dessert krijgen we tiramisu.
VeraDossier160,0%Als de zee krijgt hij een korte koffie met tiramisu.
NVIDIA Canary-1b-v240,0%Als de sherk krijgen we tiramisu.
NVIDIA Parakeet-TDT-0.6b-v360,0%Als desser krijgen we tieren zo.
- Wij falen ook
ReferentieYves perste de appelsienen.
VeraDossier150,0%hier werd de kerk geopend voor de appelsienen
NVIDIA Canary-1b-v2100,0%Hier verspers je de appelsinen.
NVIDIA Parakeet-TDT-0.6b-v3100,0%He first pester de Appelsinen.
- Wij falen ook
ReferentieDe rits blokkeerde halverwege.
VeraDossier125,0%De reis blokkeert de halve wegen.
NVIDIA Canary-1b-v2125,0%De rit blokkeert de halve wegen.
NVIDIA Parakeet-TDT-0.6b-v375,0%De rest blokkeerde halbe wegen.
- Wij falen ook
ReferentieDe veelpleger bleek een pleegkind te zijn.
VeraDossier85,7%De veelpleegafbeleving pleegt interessant.
NVIDIA Canary-1b-v20,0%De veelpleger bleek een pleegkind te zijn.
NVIDIA Parakeet-TDT-0.6b-v342,9%Hoeveel pleger bleken een pleegkind te zijn?
- Wij falen ook
ReferentieZe wou weer de heldin uithangen.
VeraDossier83,3%zowel weer de helden naar bang.
NVIDIA Canary-1b-v2116,7%Een verzameling van videoboeken in de omslag.
NVIDIA Parakeet-TDT-0.6b-v3100,0%· · ·· · ··· ·····
- Wij falen ook
ReferentieOehoe is een onomatopee.
VeraDossier75,0%Oegoe is een onomaat opé.
NVIDIA Canary-1b-v250,0%Oeh hoo is een onomatopee.
NVIDIA Parakeet-TDT-0.6b-v375,0%Uhu is an onomatope.
- Alle drie goed
ReferentieDe Aboriginals zijn de oorspronkelijke bewoners van Australië.
VeraDossier0,0%De aboriginals zijn de oorspronkelijke bewoners van Australië.
NVIDIA Canary-1b-v20,0%De Aboriginals zijn de oorspronkelijke bewoners van Australië.
NVIDIA Parakeet-TDT-0.6b-v30,0%De Aboriginals zijn de oorspronkelijke bewoners van Australië.
- Alle drie goed
ReferentieZe had de bank beschadigd met haar skateboard.
VeraDossier0,0%ze had de bank beschadigd met haar skateboard
NVIDIA Canary-1b-v20,0%Ze had de bank beschadigd met haar skateboard.
NVIDIA Parakeet-TDT-0.6b-v30,0%Ze had de bank beschadigd met haar skateboard.
- Alle drie goed
ReferentieWaarom belde je me niet even?
VeraDossier0,0%Waarom belde je me niet even?
NVIDIA Canary-1b-v20,0%Waarom belde je me niet even?
NVIDIA Parakeet-TDT-0.6b-v30,0%Waarom belde je me niet even?
- Alle drie goed
ReferentieDe kinderen moesten zuchten, ze moesten nog een uur wachten.
VeraDossier0,0%De kinderen moesten zuchten, ze moesten nog een uur wachten.
NVIDIA Canary-1b-v20,0%De kinderen moesten zuchten, ze moesten nog een uur wachten.
NVIDIA Parakeet-TDT-0.6b-v30,0%De kinderen moesten zuchten, ze moesten nog een uur wachten.
Bron: CommonVoice NL — testsplit van het Open ASR-bord · n=1699 · nithinraok/asr-leaderboard-datasets · mcv_nl · huggingface/open_asr_leaderboard @ b2dada0b