AI leert beeld en geluid koppelen zonder menselijke hulp

Onderzoekers van MIT hebben een doorbraak gemaakt in kunstmatige intelligentie (AI). Hun nieuwe systeem kan automatisch beeld en geluid aan elkaar koppelen. Dit gebeurt zonder dat mensen het systeem hoeven te trainen. De technologie werkt net zoals mensen leren door te kijken en luisteren.
Het verbeterde AI-model heet CAV-MAE Sync. Het kan bijvoorbeeld het geluid van een dichtslaan deur koppelen aan het beeld ervan. Het systeem kijkt naar videobeelden en luistert naar het geluid tegelijk. Daarna maakt het automatisch verbindingen tussen wat het ziet en hoort.
Geluidsfragmenten
De onderzoekers verbeterden hun eerdere werk op twee manieren. Ten eerste deelden ze geluidsfragmenten op in kleinere stukjes. Hierdoor leert het systeem preciezer welk geluid bij welk beeld hoort. Ten tweede voegden ze speciale gegevenstokens toe die het leren verbeteren.
De nieuwe technologie heeft veel toepassingen. Journalisten kunnen ermee automatisch video's en geluidsfragmenten vinden. Filmmakers kunnen het gebruiken voor het samenstellen van content. Robots kunnen er beter mee begrijpen wat er om hen heen gebeurt. Het systeem presteert beter dan ingewikkeldere methodes die meer trainingsgegevens nodig hebben.
Veel nieuwe toepassingen mogelijk
"We bouwen AI-systemen die de wereld kunnen verwerken zoals mensen dat doen. Ze krijgen tegelijk beeld- en geluidsinformatie binnen en kunnen beide naadloos verwerken", zegt Andrew Rouditchenko van MIT. De onderzoeker voegt toe dat de technologie veel nieuwe toepassingen mogelijk maakt. "Soms hebben heel eenvoudige ideeën grote waarde wanneer je ze toepast op een model waar je aan werkt", aldus hoofdauteur Edson Araujo.
LAATSTE AI-NIEUWS



Download GRATIS AI-prompts die je business helpen veranderen!
Exclusieve whitepapers en e-books met waardevolle kennis en AI-prompts - ontwikkeld om direct resultaat te leveren.
Je kunt deze krachtige tools zo downloaden.
➡️ Ga naar de producten-pagina en profiteer nu!