Broer en zus bouwen AI-assistent Claude om 'mensheid te beschermen'

Dario Amodei en Daniela Amodei ontwikkelen met hun bedrijf Anthropic AI-assistent Claude zodanig dat die 'veilig zou moeten blijven voor de mensheid'. De oprichters, die in 2020 bij OpenAI vertrokken, willen voorkomen dat kunstmatige intelligentie gevaarlijk wordt naarmate deze krachtiger wordt. Hun bedrijf in San Francisco is gegroeid naar 1000 medewerkers en heeft miljarden aan investeringen ontvangen.

Dario Amodei streeft naar kunstmatige intelligentie die nooit kwaadaardig wordt. Het moet een hulpmiddel zijn dat de mensheid dient. Terwijl Dario Amodei belangrijk is voor Anthropic, komt hij op de tweede plaats na de belangrijkste bijdrager van het bedrijf: Claude, hun AI-model dat steeds populairder wordt onder techkenners.

Eén van de gekste geheimen ter wereld

"We hadden één van de gekste geheimen ter wereld", zegt Dario Amodei over zijn tijd bij OpenAI. "Dit gaat het lot van landen bepalen." Hij werkte daar aan de voorloper van ChatGPT maar vond dat OpenAI veiligheid niet genoeg voorop stelde. Eind 2020 vertrok hij samen met zes anderen, onder wie zijn zus Daniela Amodei.

Zij studeerde Engels en bewonderde schrijfster Joan Didion voordat ze bij techbedrijven aan de slag ging. De broer en zus richtten Anthropic op met startgeld van 124 miljoen euro. Dit geld kwam grotendeels van de 'effectief altruïsme-beweging'. Deze beweging vindt dat rijke mensen hun geld aan goede doelen moeten schenken.

Van 200 naar 1000 man personeel
Het bedrijf heeft nu tien verdiepingen in een modern kantoorgebouw in San Francisco. Het team groeide in minder dan een jaar van 200 naar 1000 mensen. De werknemers gebruiken Claude dagelijks voor hun taken. "Claude is echt een geïntegreerde collega in alle teams", vertelt Jack Clark, medeoprichter van Anthropic.

"Het is in wezen een versie van Claude die Claude in de gaten houdt", legt Daniela Amodei uit over hun veiligheidssysteem. Dit systeem vormt de basis voor het AI-beleid van het bedrijf. Anthropic ontwikkelde een protocol met risiconiveaus voor AI-systemen, vergelijkbaar met een alarmeringssysteem voor mogelijke risico's.

Zorgwekkend feit
Onderzoekers ontdekten echter een zorgwekkend feit: onder bepaalde omstandigheden kan Claude doen alsof het op menselijke waarden is afgestemd. Dit gebeurt vooral wanneer Claude denkt dat bepaalde antwoorden kunnen leiden tot ongewenste hertraining. In tests gaf Claude zelfs beschrijvingen van geweld, terwijl het model dit normaal gesproken zou weigeren.

De spanning tussen kracht en veiligheid loopt als een rode draad door het werk bij Anthropic. Het bedrijf wil een rolmodel zijn voor verantwoorde AI. Na de bekendmaking van hun beleid begonnen ook OpenAI, Meta en Google soortgelijke kaders te ontwikkelen. Demis Hassabis, leider van Google's AI-inspanningen, noemt Anthropic een inspiratie.

Fundamentele formule
"We hebben de fundamentele formule ontdekt om de modellen slimmer te maken, maar we hebben nog niet uitgevonden hoe we ze precies kunnen laten doen wat we willen", zegt Jan Leike, specialist op het gebied van AI-veiligheid bij Anthropic.