Användandet av AI-agenter riskerar att leda till ett otydligt ansvarsutkrävande när resultat uppstår genom kedjor av automatiserade steg snarare än genom identifierbara beslut. Därför ställer AI-agenter nya krav på regelverk och tillsyn, menar Jimmy Kvarnström, chef för verksamhetsområdet Marknader på Finansinspektionen, i en artikel i The Eurofi Magazine.
Artikeln publicerades i samband med att Jimmy Kvarnström deltog på den europeiska branschorganisationen Eurofis möte Financial Forum i september, och sammanfattar några av FI:s perspektiv på frågan om AI-utvecklingen i finanssektorn.
– För FI är det viktigt att delta aktivt i de här diskussionerna. Svenska finansiella företag och marknader påverkas i hög grad av de regler och den tillsyn som utvecklas på europeisk nivå. Erfarenheter från den svenska marknaden kan också bidra till hur framtida europeiska lösningar utformas, heter det i en kommentar från FI till artikeln.
Sammanfattningsvis pekar Jimmy Kvarnström i artikeln på att tekniken kan skapa stora möjligheter – men att när AI-system får större möjlighet att själva fatta beslut och agera ökar samtidigt kraven på styrning, spårbarhet och kontroll. Företag kan förvisso delegera uppgifter och beslut till AI – men inte ansvaret för det som görs i deras namn. Han understryker också att tillsynen behöver utvecklas i takt med tekniken.
Han konstaterar att AI-agenter i finanssektorn bland annat kan driva mål genom kedjor av uppgifter, interagera med andra system och agenter och anpassa sitt agerande under processens gång – vilket kan bidra till bättre riskövervakning, automatiserade kontroller och förbättrade tjänster.
Men det skapar också särskilda utmaningar för företag och tillsynsmyndigheter att agenter integreras i handel, riskhantering, regelefterlevnad och kundprocesser eftersom fler beslut fattas med maskinhastighet utan att en människa deltar i varje steg.
– Ansvarsutkrävandet kan bli otydligt när resultat uppstår genom kedjor av automatiserade steg snarare än genom identifierbara beslut. Det blir också svårare att genomföra revision när systemen inte alltid producerar samma resultat och när det är svårt att rekonstruera grunden för en viss åtgärd, heter det i artikeln.
Han varnar också för att när många agenter interagerar kan ett kollektivt beteende uppstå som inget enskilt företag har utformat, och att riskerna kan öka för den operativa motståndskraften.
I artikeln drar han paralleller till när algoritmisk handel växte fram. Det blev inget förbud, men regelverket krävde att företagen skulle kunna visa att de hade kontroll. Med andra ord kan autonomi vara acceptabelt när det går att visa att det finns kontroll.
– Samma princip gäller för agentbaserad AI. Den möjliggör snarare än begränsar användningen. Företag som kan visa att de har kontroll kan införa tekniken med större säkerhet, skriver Jimmy Kvarnström.
Det här är några av de punkter som lyfts fram i artikeln när det gäller tillsynen av AI-agenter inom finans:
- Varje agent bör ha en tydligt identifierad ägare, det vill säga en funktion med ansvar för agentens mål, gränser och agerande.
- Testning bör genomföras före driftsättning, övervakningen bör vara kontinuerlig och ingripanden – inklusive omedelbar avstängning – bör alltid vara möjliga.
- Skyddsåtgärderna bör vara proportionerliga. En agent som tar fram ett analysutkast bör inte styras på samma sätt som en agent som får fatta beslut om kapital.
- Den mänskliga övervakningen måste vara meningsfull och inte bara formell. En människa som godkänner maskinens resultat snabbare än resultatet hinner läsas utgör inte verklig övervakning.
Han pekar också på att när tillsynen utvecklas behövs nya förmågor och tillgång till data som gör företagens beteende observerbart.
Vid sidan av artikeln om AI-utvecklingen har Jimmy Kvarnström även publicerat en artikel om Hur Europas kapitalmarknader kan bli mer konkurrenskraftiga. Båda artiklarna är publicerade på engelska. Och, ja, mycket riktigt – vi har tagit hjälp av AI för att översätta citaten ovan ur artikeln till svenska.
Här kan du som har ett abonnemang på Sak & Liv Premium ta del av hela artikeln om hur AI förändrar finanssektorn, och här texten om Europas kapitalmarknader.