Saturday, February 27, 2021
Home Technologie Door elkaar gegooide zinnen laten zien dat AI's de taal nog steeds...

Door elkaar gegooide zinnen laten zien dat AI’s de taal nog steeds niet echt begrijpen


Onderzoekers van Auburn University in Alabama en Adobe Research ontdekte de fout toen ze probeerden een NLP-systeem te krijgen om verklaringen voor zijn gedrag te genereren, zoals waarom het beweerde dat verschillende zinnen hetzelfde betekenden. Toen ze hun aanpak testten, beseften ze dat het door elkaar schudden van woorden in een zin geen verschil maakte voor de uitleg. “Dit is een algemeen probleem voor alle NLP-modellen”, zegt Anh Nguyen van Auburn University, die het werk leidde.

Het team bekeek verschillende state-of-the-art NLP-systemen op basis van BERT (een taalmodel ontwikkeld door Google dat de basis vormt voor veel van de nieuwste systemen, waaronder GPT-3). Al deze systemen scoren beter dan mensen LIJM (General Language Understanding Evaluation), een standaardreeks taken die zijn ontworpen om taalbegrip te testen, zoals het ontdekken van parafrases, beoordelen of een zin positieve of negatieve gevoelens uitdrukt, en verbaal redeneren.

Man bijt hond: Ze ontdekten dat deze systemen niet konden zien wanneer woorden in een zin door elkaar werden gegooid, zelfs niet wanneer de nieuwe volgorde de betekenis veranderde. De systemen hebben bijvoorbeeld correct opgemerkt dat de zinnen “Veroorzaakt marihuana kanker?” en “Hoe kan het roken van marihuana je longkanker geven?” waren parafrases. Maar ze waren er zelfs nog meer zeker van dat “Je rookt hoe marihuana long kan geven?” en “Long kan marihuana roken hoe je kanker krijgt?” betekende ook hetzelfde. De systemen besloten ook dat zinnen met tegengestelde betekenissen, zoals “Veroorzaakt marihuana kanker?” en “Veroorzaakt kanker marihuana?” stelden dezelfde vraag.

De enige taak waarbij de woordvolgorde van belang was, was die waarbij de modellen de grammaticale structuur van een zin moesten controleren. Anders veranderde tussen 75% en 90% van de antwoorden van de geteste systemen niet wanneer de woorden door elkaar werden gegooid.

Wat gebeurd er? De modellen lijken een paar sleutelwoorden in een zin op te pikken, in welke volgorde ze ook komen. Ze begrijpen de taal niet zoals wij en GLUE – een zeer populaire maatstaf – meet niet het ware taalgebruik. In veel gevallen dwingt de taak waarop een model is getraind, het niet om te geven om woordvolgorde of syntaxis in het algemeen. Met andere woorden, GLUE leert NLP-modellen om door hoepels te springen.

Veel onderzoekers zijn begonnen met het gebruiken van een hardere reeks tests genaamd SuperGLUE, maar Nguyen vermoedt dat het vergelijkbare problemen zal hebben.

Dit probleem is ook vastgesteld door Yoshua Bengio en collega’s, die dat ontdekten woorden in een gesprek opnieuw ordenen veranderde soms de reacties die chatbots maakten niet. En een team van Facebook AI Research gevonden voorbeelden hiervan met Chinezen. Het team van Nguyen laat zien dat het probleem wijdverbreid is.

Maakt het uit? Het hangt af van de toepassing. Aan de ene kant zou een AI die nog steeds begrijpt wanneer je een typefout maakt of iets vervormd zegt, zoals een ander mens zou kunnen, nuttig zijn. Maar over het algemeen is de woordvolgorde cruciaal bij het verwijderen van de betekenis van een zin.

repareren Hoe? Het goede nieuws is dat het misschien niet zo moeilijk is om het op te lossen. De onderzoekers ontdekten dat door een model te dwingen zich te concentreren op de woordvolgorde, door het te trainen om een ​​taak uit te voeren waarbij de woordvolgorde belangrijk is, zoals het opsporen van grammaticale fouten, het model ook beter presteerde bij andere taken. Dit suggereert dat het aanpassen van de taken waarvoor modellen zijn getraind, ze in het algemeen beter zal maken.

De resultaten van Nguyen zijn nog een ander voorbeeld van hoe modellen vaak ver achterblijven bij wat we denken dat ze in staat zijn. Hij denkt dat het laat zien hoe moeilijk het is om AI’s te maken die begrijpen en redeneren als mensen. “Niemand heeft een idee”, zegt hij.



Source link

LAAT EEN REACTIE ACHTER

Vul alstublieft uw commentaar in!
Vul hier uw naam in

- Advertisment -

Most Popular

15 van de beste rustige stranden van de Britse eilanden

Tor Bay, GowerAls het tij laag is, is dit prachtige strand gemakkelijk te bereiken via Three Cliffs Bay; als het tij hoog...

De honden van Lady Gaga zijn veilig gevonden na een roofoverval

De twee Franse buldoggen van de Amerikaanse zangeres werden gestolen nadat gewapende mannen haar hondenloper hadden aangevallen en verwond. Source link

Budget 2021: Hypotheekgarantie om kopers te helpen met een aanbetaling van 5%

De heer Sunak verklaarde de economische reactie van de regering op de pandemie en zei: "We zijn groot geworden, we zijn vroeg gegaan,...

Door een tekort aan aanbod is het eenmalige Johnson & Johnson-covid-vaccin geen wondermiddel.

Dat komt omdat in de VS kinderen onder de 18 jaar ongeveer een kwart van de bevolking uitmaken, maar de prikjes nog niet...

Recent Comments