De video-analyse van De Leugenacademie meet beweging en geluid, maar de uitvoer betekent pas iets in handen van iemand die de onderliggende begrippen kent. Deze kennisbank is die leerstof. Wie de actie-eenheden en het non-verbale gedrag niet kent, leest de meting verkeerd.
Het instrument leest de video beeld voor beeld uit en zet elk beeld om in getallen. Er wordt niets gecombineerd met kennis van buiten, er is geen model dat iets voorspelt over de persoon, en er verlaat geen beeld of geluid het apparaat.
Mensen verschillen enorm in gezichtsbouw, spierspanning in rust en spreekstijl. Een absolute drempel meet daardoor vooral anatomie. Door alles af te zetten tegen de eigen rusttoestand meet u verandering, en verandering is het enige dat gedragsmatig iets kan betekenen. Kies daarom een basislijnvenster waarin de persoon ontspannen over iets neutraals praat, niet per se de eerste zestig seconden.
De benaming volgt het Facial Action Coding System van Ekman en Friesen. Let op: dit instrument benadert die eenheden op basis van vormwaarden uit een computermodel. Het is geen gecodeerde FACS-meting door een gecertificeerd codeur, en de intensiteitsschaal A tot E uit FACS wordt hier niet gebruikt.
| Code | Naam | Betrokken spieren | Wat u ziet | Waar op te letten |
|---|---|---|---|---|
| AU1 | binnenste wenkbrauw omhoog | m. frontalis, pars medialis | binnenste wenkbrauwuiteinden omhoog, horizontale rimpels in het midden van het voorhoofd | bij een van nature hoge wenkbrauwstand blijft deze waarde ook in rust verhoogd, de basislijn vangt dat op |
| AU2 | buitenste wenkbrauw omhoog | m. frontalis, pars lateralis | buitenste deel van de wenkbrauw omhoog, de boog wordt sterker | komt zelden alleen voor, meestal samen met AU1 |
| AU4 | wenkbrauwverlager | m. corrugator supercilii, m. depressor supercilii, m. depressor glabellae | wenkbrauwen omlaag en naar elkaar toe, verticale groef tussen de brauwen | ook actief bij concentratie, fel licht en inspanning, niet alleen bij spanning |
| AU5 | bovenooglid omhoog | m. levator palpebrae superioris | bovenooglid omhoog, meer oogwit boven de iris zichtbaar | wordt door een bril of hangende oogleden onderschat |
| AU6 | wangheffer | m. orbicularis oculi, pars orbitalis | wang omhoog, onderooglid komt op, kraaienpootjes | de sleutel bij het onderscheiden van een spontane en een sociale glimlach |
| AU7 | ooglidspanner | m. orbicularis oculi, pars palpebralis | ooglidspleet vernauwt, gespannen onderooglid | lastig te scheiden van AU6, let op of de wang wel of niet meekomt |
| AU9 | neusrimpelaar | m. levator labii superioris alaeque nasi | neusrug rimpelt, neusvleugels omhoog, bovenlip komt mee | ook bij een vieze geur of fel licht |
| AU10 | bovenlipheffer | m. levator labii superioris | bovenlip omhoog, nasolabiale plooi verdiept en verhoogt | treedt ook op bij spreken, let op de duur |
| AU12 | mondhoektrekker | m. zygomaticus major | mondhoeken schuin omhoog en naar buiten | zonder AU6 is dit een sociale of beleefde glimlach, niet per se plezier |
| AU14 | kuiltjesvormer | m. buccinator | mondhoek naar binnen en zijwaarts getrokken, kuiltje in de wang | eenzijdig is dit het kenmerk van minachting |
| AU15 | mondhoekverlager | m. depressor anguli oris | mondhoeken omlaag, onderlip licht naar buiten | bij een van nature omlaag lopende mond blijft de basislijn verhoogd |
| AU17 | kinheffer | m. mentalis | kin omhoog, onderlip komt op, kin krijgt een gerimpeld oppervlak | veel voorkomend tijdens spreken en slikken |
| AU18 | lippentuiter | m. incisivii labii superioris en inferioris | lippen naar voren getuit | komt ook voor bij bepaalde klanken, denk aan oe en u |
| AU20 | lipstrekker | m. risorius | mondhoeken zijwaarts uit elkaar, mond wordt breder | onderdeel van het angstprototype, ook bij inspanning |
| AU24 | lippenperser | m. orbicularis oris | lippen op elkaar geperst, lippenrand wordt smaller | in dit instrument zijn AU23 en AU24 samengenomen, het model scheidt ze niet |
| AU26 | kaak zakt | ontspanning van m. masseter en m. temporalis | kaak zakt, lippen komen los | gaat vrijwel altijd samen met spreken, weinig informatief op zichzelf |
| AU28 | lippen naar binnen | m. orbicularis oris | lippen naar binnen gezogen, lippenrood verdwijnt deels | komt vaak voor bij nadenken en bij droge lippen |
| AU45 | knippering | m. orbicularis oculi en m. levator palpebrae | knippering, ooglid volledig gesloten en weer geopend | wordt apart geteld en niet als afwijking gemarkeerd, alleen het tempo telt |
Een configuratie is een vast patroon van actie-eenheden dat in de literatuur aan een emotie wordt gekoppeld. Het instrument berekent per beeld welk deel van de vereiste eenheden actief is, trekt daar iets af als een tegenindicerende eenheid meedoet, en drukt de uitkomst uit als dekkingspercentage.
| Configuratie | Vereiste eenheden | Tegenindicatie | Opmerking |
|---|---|---|---|
| blijdschap | AU6 AU12 | geen | |
| verdriet | AU1 AU4 AU15 | AU12 | |
| verrassing | AU1 AU2 AU5 AU26 | AU4 | |
| angst | AU1 AU2 AU4 AU5 AU20 | geen | |
| woede | AU4 AU5 AU7 AU24 | AU12 | |
| walging | AU9 AU10 AU17 | geen | |
| minachting | AU12 AU14 | geen | vereist aantoonbare eenzijdigheid, anders zakt de score sterk |
Zeventig procent dekking betekent dat het merendeel van de spiergroepen die bij dat prototype horen tegelijk actief was. Het betekent niet dat de persoon die emotie voelde. De aanname dat een gezichtsuitdrukking betrouwbaar naar een innerlijke toestand verwijst, is stevig bekritiseerd, onder meer in het overzichtsartikel van Barrett, Adolphs, Marsella, Martinez en Pollak uit 2019. Dezelfde configuratie komt voor bij verschillende toestanden, en dezelfde toestand leidt bij verschillende mensen tot verschillende gezichten. Beschrijf in een rapport dus de configuratie, niet de emotie.
Elk moment krijgt een duur van onset tot offset. Onder de tweehonderd milliseconden heet het micro, tussen tweehonderd en vijfhonderd vluchtig. Echte micro-expressies duren veertig tot tweehonderd milliseconden. Bij dertig beelden per seconde beslaat dat een tot zes beelden, wat te grof is om zoiets betrouwbaar vast te stellen. Neem daarom op met honderdtwintig beelden per seconde als korte expressies het onderwerp zijn, en zet de bemonstering daar dan ook op.
Voor de eenheden die links en rechts apart gemeten worden, wordt het verschil tussen beide zijden berekend. Boven vijfendertig procent verschil wordt het gemeld. Asymmetrie is om twee redenen interessant: bij minachting hoort eenzijdigheid tot de definitie, en bij bewust gestuurde uitdrukkingen loopt de ene gezichtshelft vaker voor op de andere. Wees wel voorzichtig, want een scheve camerahoek en een gedraaid hoofd veroorzaken schijnasymmetrie.
Bij elke AU12 wordt gecontroleerd of AU6 meedoet. Zonder wangbetrokkenheid is het een sociale of beleefde glimlach. Dat is geen aanwijzing voor misleiding, wel een aanwijzing dat de uitdrukking gestuurd is in plaats van spontaan.
| Kanaal | Wat het meet | Hoe |
|---|---|---|
| HB | hoofdbeweging | snelheid van de hoekverandering in graden per seconde, licht gedempt |
| HJ | hoofddraai links rechts | afwijking van de gemiddelde stand, plus herkenning van schudden |
| HK | hoofdknik op neer | afwijking van de gemiddelde stand, plus herkenning van knikken |
| BLIK | blikafwending | afstand van de kijkrichting tot de eigen gemiddelde kijkrichting, uit acht oogkanalen |
| SCH | schouderactiviteit | hoogte van beide schouders ten opzichte van het hoofd, gedeeld door de schouderbreedte |
| SCHA | schouderasymmetrie | verschil in hoogte tussen linker en rechter schouder |
| ROMP | houdingstabiliteit | schijnbare schouderbreedte, die afneemt zodra de romp wegdraait |
| HAND | hand bij gezicht | kortste afstand van een pols tot de neus, genormaliseerd |
| GEB | handbeweging | polssnelheid, een maat voor illustratoren bij de spraak |
Een gebaar wordt vastgesteld als de hoofdhoek binnen driekwart seconde per wisseling minstens drie keer van richting verandert met voldoende uitslag. Er wordt gemeld hoeveel wisselingen er waren en hoe groot de uitslag was in graden.
Dit is een van de slechtst onderbouwde signalen die er zijn. Het hangt sterker samen met cultuur, met geheugenwerk en met de sociale druk van het gesprek dan met misleiding. Het wordt gemeten omdat het beschrijvend nuttig is. Er wordt bij vermeld of het hoofd meedraaide of dat alleen de ogen bewogen, want dat zijn gedragsmatig twee verschillende dingen.
Het geluidsspoor wordt teruggerekend naar acht kilohertz en per vijfentwintig milliseconden geanalyseerd.
| Maat | Hoe berekend | Betekenis |
|---|---|---|
| TOON | autocorrelatie met octaafcorrectie, zestig tot vierhonderd hertz | grondtoon van de stem |
| LUID | effectieve waarde per venster in decibel | luidheid |
| TEMPO | toppen in de energieomhullende, geteld in een venster van drie seconden | lettergrepen per seconde |
| SPAN | vijftig procent toon, dertig procent luidheid, twintig procent tempo, elk als z-waarde | samengestelde spanningsindex |
| pauze | stilte langer dan driehonderdvijftig milliseconde binnen spraak | aarzeling of denkpauze |
| toonstabiliteit | omgekeerde van de relatieve toonspreiding | monotonie tegenover melodische variatie |
Er worden geen emotielabels aan de stem gehangen. Modellen die dat doen presteren redelijk op geacteerde opnames en aanzienlijk slechter op spontaan gesprek. Commerciele stemstressanalyse, zoals de producten rond layered voice analysis, komt in onafhankelijk onderzoek herhaaldelijk niet boven kansniveau uit. Een stijgende toonhoogte onder spanning is een van de robuustere bevindingen in de literatuur, maar het effect is klein en zegt niets over de oorzaak van die spanning.
Met een transcript erbij wordt aan elk voorval de gesproken tekst gekoppeld, met een halve seconde speling aan beide kanten. Vervolgens wordt elke uitspraak geduid op drie kenmerken en worden vijf combinaties gemeld waarin woord en gedrag verschillende kanten op wijzen.
Op trefwoorden, niet op begrip. Ontkenning wordt herkend aan woorden als niet, nooit, geen, niets en niemand. Bevestiging aan ja, klopt, precies, inderdaad. Stelligheid aan wendingen als ik weet zeker, absoluut, geloof me, op mijn erewoord. Ironie, citaten van anderen en tussenzinnen gaan daarbij mis. Lees dus altijd na wat er werkelijk gezegd is, daarvoor staat het citaat bij elk voorval.
Tegenstrijdigheid tussen woord en gedrag is de enige categorie in dit instrument met noemenswaardige onderzoeksdekking. En zelfs die zegt niets over waarheid. Het is een aanwijzing dat een moment nadere bevraging verdient. Meer niet.
Momenten die dicht bij elkaar liggen worden samengevoegd tot een voorval. Dat voorval krijgt een intensiteit tussen nul en honderd, opgebouwd uit twee delen: hoe ver het sterkste kanaal boven zijn drempel uitkwam, en hoeveel verschillende kanalen tegelijk meededen. Boven de zesenzestig heet het hoog, tussen achtendertig en vijfenzestig middelmatig, daaronder laag.
Intensiteit zegt iets over de opvallendheid van een moment, niet over de betekenis. Een hoge intensiteit bij het aanpassen van een bril is nog steeds een bril. Daarom staat er in het rapport bewust intensiteit en niet risico.
Het is geen leugendetector. Er bestaat geen wetenschappelijk houdbare stap van een actie-eenheid, een stemkenmerk of een gebaar naar waarheid of leugen. Meta-analyses van non-verbale aanwijzingen voor misleiding vinden effecten die zo klein zijn dat ze op individueel niveau onbruikbaar zijn. Wie op basis van deze uitvoer een uitspraak doet over geloofwaardigheid, doet dat op eigen gezag en niet op gezag van de meting.
Gezichtsmetingen zijn biometrische gegevens. Er is een grondslag nodig, een gegevensbeschermingseffectbeoordeling ligt voor de hand, en er moet een bewaartermijn zijn. Alle verwerking in dit instrument gebeurt lokaal in de browser, er wordt niets geupload. Dat vergemakkelijkt de verantwoording maar heft de verplichtingen niet op.
Systemen voor emotie-inferentie en voor het afleiden van betrouwbaarheid vallen in de Europese AI-verordening onder apart geregelde toepassingen, met zwaardere eisen zodra ze in een rechtshandhavings- of arbeidscontext worden gebruikt. Ga na welke verplichtingen op het moment van gebruik gelden, want de invoering verloopt in fasen. Voer dit instrument daarom nooit op als beslissysteem, maar als observatiehulpmiddel waarvan een mens de uitkomst beoordeelt.
De video-analyse komt beschikbaar zodra u laat zien dat u de stof beheerst. De route is opgezet in vier stappen, zodat niemand met het instrument werkt zonder de begrippen te kennen.
U neemt deze leerstof door.
U toetst uw kennis van de actie-eenheden en het gedrag.
U haalt de vereiste score op herkenning.
Het instrument wordt voor u vrijgegeven.
