En ny generation röstmodeller har gjort det möjligt för AI-assistenter att lyssna och tala samtidigt, i stället för att växla mellan att lyssna och svara. Resultatet är samtal som påminner mer om ett telefonsamtal än om en walkie-talkie, och sedan i somras vattenmärks ljudet för att gå att spåra.
Full duplex förändrar samtalsrytmen
Den tekniska förändringen kallas full duplex, en term lånad från telekomvärlden. I stället för att vänta på att användaren ska tala klart bearbetar modellen inkommande och utgående ljud parallellt och fattar beslut många gånger per sekund om den ska tala, fortsätta lyssna, pausa eller avbryta. Det gör att assistenten kan signalera att den lyssnar med korta inflikanden, hantera avbrott på ett naturligt sätt eller helt enkelt vara tyst när användaren behöver tänka.
Den tidigare tekniken byggde på att en och samma modell lyssnade, resonerade och svarade i tydligt avgränsade turer, vilket skapade de pauser som många användare upplevt som stelt.
Två modeller arbetar parallellt
Det arkitektoniska greppet är att dela upp arbetet. Röstmodellen håller samtalet igång medan svårare frågor skickas vidare till en tyngre resonerande modell i bakgrunden. Användaren kan i vissa varianter själv välja hur mycket beräkningskraft som ska läggas på resonemanget, från snabba svar till mer genomtänkta analyser.
Konsekvensen är att samtalstempot frikopplas från resonemangsdjupet, något som tidigare varit en av de största begränsningarna i röststyrda konsumentprodukter. I praktiken innebär det att assistenten kan börja svara innan den vet hela svaret, ungefär som en människa som tänker högt.
Vattenmärkning ska göra ljudet spårbart
I slutet av juli infördes vattenmärkning av det ljud som modellerna genererar. Tekniken lägger in ett signalmönster som inte hörs för det mänskliga örat men som går att detektera med särskilda verktyg. Utvecklare och organisationer kan numera även nå verifieringen via ett programmeringsgränssnitt, vilket gör det möjligt att bygga in kontroller av ljudets ursprung i egna arbetsflöden.
Utvecklingen ligger i linje med EU:s nya transparenskrav, som sedan början av augusti kräver att syntetiskt material märks på ett sätt som är begripligt för mottagaren. För ljud har frågan varit särskilt svår, eftersom en synlig etikett inte fungerar i ett format som saknar bild.
Skydd mot röstimitationer
Modellerna levereras med ett begränsat antal fördefinierade röster, och skyddsmekanismer ska hindra dem från att imitera verkliga personers röster. Det är en direkt respons på den snabba spridningen av röstbaserade bedrägerier, där angripare använder korta ljudklipp från sociala medier för att skapa övertygande imitationer av chefer, anhöriga eller myndighetsföreträdare.
Säkerhetsföretag har det senaste året rapporterat om en tydlig ökning av den typen av angrepp, och rekommenderar organisationer att införa identitetskontroller i flera led snarare än att förlita sig på att en igenkännbar röst är tillräckligt bevis.
Funktioner som saknas ännu
Utrullningen har begränsningar. Live-video och skärmdelning ingår inte i den nya upplevelsen utan finns kvar i äldre lägen, och företagsabonnemang har hittills inte omfattats fullt ut. Samtidigt har visuella kort för väder, kartor och aktiekurser lagts till som komplement, så att assistenten kan visa information på skärmen parallellt med samtalet.
Vad utvecklingen betyder för svenska apputvecklare
För svenska utvecklare pekar skiftet mot att röst går från att vara en tilläggsfunktion till att bli ett fullvärdigt gränssnitt. Det ställer nya krav på hur appar utformas: samtal saknar den visuella struktur som guidar användaren i ett traditionellt gränssnitt, vilket gör att felhantering, bekräftelser och avbrott behöver tänkas igenom på nytt. För bolag inom kundtjänst, tillgänglighet och fälttjänster öppnar tekniken samtidigt konkreta möjligheter, eftersom röst fungerar i situationer där händerna är upptagna. Vattenmärkningen är dessutom värd att notera för svenska mediehus och myndigheter, som får ett verktyg för att kontrollera om ett inkommande ljudklipp är maskingenererat.
