Maak kennis met Preschooler.
Preschooler is de naam voor onze geplande familie van kleine, gespecialiseerde taalmodellen. Het doel is een snel model dat veel kan leren van verschillende lokale leraren en dat als eigen checkpoint kan worden gepubliceerd.
Hoe het werktBusinessconcept (PDF)Er is een trainingsprotocol, een vastgepinde lijst van tien modelkandidaten en een volledige private tekstmeting van vijf kandidaten. Er is nog geen getrainde Preschooler-checkpoint of onafhankelijke promotiescore.
Bijgewerkt op 11 oktober 2026. “4B” duidt een beoogde grootteorde aan; de basisarchitectuur wordt pas na vergelijkbare tests gekozen.
Wat Preschooler straks moet kunnen
Stel je een leerling voor die niet één docent nadoet, maar verschillende uitleg naast elkaar legt. Toddler organiseert taken en bewaart eerdere ervaringen. Teacher maakt oefeningen en legt de leerroute vast. Tien kleine lokale modellen leveren verschillende oplossingsvoorstellen. Een onafhankelijke controle kiest alleen de antwoorden die aantoonbaar kloppen. Met die voorbeelden kan één compacte student leren om vaker zelf een bruikbaar antwoord te geven.
Voor de gebruiker moet dat een snelle, lokale hulp worden voor rekenen, natuurkunde, chemie, software, financiële data, taal en cultuur, gameontwikkeling en planning. De taalleergang omvat Engels, Nederlands en geschreven Kantonees, naast geschiedenis en aardrijkskunde. Bij onzekerheid moet het model kunnen aangeven wat het niet weet en een specialist of controleur inschakelen. Een model kan pas “beter” heten als het op nieuwe, afgeschermde vragen aantoonbaar wint zonder belangrijke vaardigheden te verliezen.
Vragen
Nieuwe taken per vakgebied, met bron en rechten vastgelegd.
Kandidaten
Complementaire lokale modellen geven elk een voorstel.
Controle
Een objectieve test of onafhankelijke expert beoordeelt het antwoord.
Leren
De compacte student traint op geaccepteerde voorbeelden en wordt opnieuw getoetst.
Hoe dit een eigen 4B-model benadert
We kiezen eerst een geschikte open 3–4B-basis na gelijke metingen. Kandidaten zijn onder meer Qwen3-4B-Instruct, Phi-4-mini-Instruct en SmolLM3-3B. Dat basischeckpoint levert de eerste gewichten en architectuur. De tien leraren leveren niet samen één gemiddeld gewichtbestand: ze produceren gecontroleerde trainingsvoorbeelden uit uiteenlopende modelfamilies. Acht aparte QLoRA-adapters leren verschillende kennis- en taakgebieden. Pas als behoud van eerdere vaardigheden en transfer naar nieuwe taken slagen, onderzoeken we consolidatie tot één zelfstandig te distribueren checkpoint.
Elk trainingsitem draagt bronhash, licentie, modelrevisie, kandidaatbijdragen, onafhankelijke verificatie en een controle op overlap met de afgeschermde toets. Een export wordt geblokkeerd zolang gebruiksrechten van modeloutput niet per bron zijn bevestigd. VirtualV vergelijkt eerst de tien modellen individueel op dezelfde prompts en decodeerinstellingen. Daarna berekent het voor modelmixen de winst boven het beste losse model, met latentie, 256-token-snelheid en GPU-board-energie per antwoord. Een live routerproef volgt alleen als de modellen elkaar op nieuwe items werkelijk aanvullen.
Het resultaat zal een nieuw getrainde student op een gedocumenteerde basis zijn. Het is niet automatisch een model met geheel nieuwe architectuur of gewichten die nergens van zijn afgeleid. We publiceren de basis, licenties, trainingsrechten, datasetprovenance, mislukte proeven en beperkingen voordat een eigen modelclaim wordt gedaan.
Tien leraarkandidaten
Qwen3 (2), Ministral3 (2), Phi-4-mini (3), Phi-3.5-mini, SmolLM3 en MiniCPM3. Variatie in naam is nog geen onafhankelijke kenniswinst; foutcorrelatie beslist.
Acht leergangen
Wiskunde & logica · fysica · chemie · software · financiële data · taal & cultuur · gamedev & UI · agentplanning.
Gescheiden promotie
Nieuwe private specialistentaken, anti-contaminatiecontrole, retentie, kwaliteit, snelheid en energie. Publieke historische scores tellen niet mee.
Wat is nu echt gerealiseerd?
| Onderdeel | Huidige stand | Volgende bewijsstap |
|---|---|---|
| Ten-modelroster | Tien checkpoints met vastgepinde revisies, lokale snapshots en gecontroleerde gewichtshashes. Vijf van tien hebben de volledige private tekstbatterij afgerond. | Dezelfde loadercanary en batterij voor de overige vijf, met een passend profiel voor multimodale modellen. |
| Qwen3-4B-Instruct · BF16 op één Ada | Acht vaste taken: gemiddelde 0,9792. Private tekstspecialisten: 0,25 op 44 items. De 256-token-proef haalde 25,72 outputtokens/s over de volledige generatietijd, inclusief prefill. GPU-board-energie: 0,091 Wh per antwoord over 140 verzoeken. | Vergelijk tegen de negen andere kandidaten op dezelfde taken, engineklasse en meeteenheden. GPU-board-Wh is geen volledig systeemverbruik. |
| Phi-4-mini-Instruct · BF16 op één Ada | Acht vaste taken: gemiddelde 0,7292. Private tekstspecialisten: 0,3583 op dezelfde 44 items. De 256-token-proef haalde 26,34 outputtokens/s inclusief prefill. GPU-board-energie: 0,062 Wh per antwoord over 140 verzoeken. | Een hogere specialistenscore in deze kleine steekproef bewijst nog geen algemene winst; verifieer op verse items en vergelijk de kosten per geaccepteerd antwoord. |
| SmolLM3-3B · BF16 op één Ada | Acht vaste taken: gemiddelde 0,6250. Private tekstspecialisten: 0,4667 op dezelfde 44 items. De 256-token-proef haalde 33,28 outputtokens/s inclusief prefill. GPU-board-energie: 0,076 Wh per antwoord over 140 verzoeken. | Beste losse model op de 36 gemeenschappelijke specialistitems: 20/36. Een live router moet zich op verse items bewijzen. |
| Phi-3.5-mini-Instruct · BF16 op één Ada | Acht vaste taken: gemiddelde 0,6958. Private tekstspecialisten: 0,2333 op dezelfde 44 items. De 256-token-proef haalde 36,24 outputtokens/s inclusief prefill. GPU-board-energie: 0,101 Wh per antwoord over 140 verzoeken. | Met Phi-3.5 komt de offline orakelrouter op 22/36, tegenover 20/36 voor het beste losse model op 36 gemeenschappelijke items. Dat is alleen een bovengrens op een kleine subset. |
| Ministral-3-3B-Instruct · BF16 op één Ada | Acht vaste taken: 0,7375. Private tekstspecialisten: 0,3667 op 44 items. De 256-token-proef haalde 37,61 outputtokens/s inclusief prefill. GPU-board-energie: 0,057 Wh per antwoord over 140 verzoeken. | Een andere Transformers-versie en FP8-naar-BF16-dequantisatie maken snelheids- en energieverschillen verkennend. Het offline orakel voor vijf modellen haalt maximaal 24/36 tegen 20/36 voor het beste losse model; live routering is nog niet bewezen. |
| Anti-contaminatie · eerste kandidaat | Nieuwe lokale rekenholdout: 8/11 juist. Bij het herschikken van meerkeuze-opties viel de score van 0,8667 naar 0,60 op 15 vragen. Dit is een kwaliteitswaarschuwing, geen promotie. | Verse, grotere afgeschermde toets en foutanalyse per taakfamilie. |
| Trainingsdata | Conversie- en rechtenpoort ontworpen; nog geen geaccepteerde productie-export. | Bronrechten toetsen en nieuwe, onafhankelijk geverifieerde items verzamelen. |
| Preschooler-gewichten | Nog geen studentcheckpoints getraind of gepromoveerd. | Gelijke basiscanaries, acht adapters, retentie- en holdouttoets. |
De cijfers zijn lokale momentopnamen van vijf ongetrainde Qwen-, Phi-, SmolLM- en Ministral-checkpoints met een Transformers BF16-endpoint op één fysieke Ada. De specialistenscore gebruikt 44 private tekstitems; de 95%-intervallen overlappen. GPU-board-Wh sluit CPU, geheugen, opslag en voeding uit. Deze metingen voorspellen niet de kwaliteit of snelheid van een later getrainde Preschooler.
Waarom we dit zorgvuldig meten
Een mooie trainingsscore kan voortkomen uit herkende vragen, een trage verifier of een onvergelijkbare runtime. Daarom blijven ontwikkeling en de finale toets gescheiden. We rapporteren kwaliteit naast tijd, GPU-board-Wh en, waar apart gemeten, volledige systeemenergie. Een volgende generatie wordt pas ingezet na een vooraf vastgelegde grens en een controleerbaar auditspoor.
Volg het Preschooler-ontwikkelwerk op GitHub · Bekijk de benchmarkcode · Lees over Teacher