Fish Audio Drama 3 låter AI-röster ändra känsloläge mitt i en mening

Fish Audio har lanserat Drama 3, en text-till-tal-modell som är utformad för att få AI-genererad dialog att låta mindre som någon som läser ett manus och mer som ett verkligt skådespelarframträdande. Modellen släpptes den 13 oktober och låter kreatörer styra känslor, tempo och röstuttryck med vanligt språk.

I stället för att förlita sig på enkla förinställda röster kan användare lägga in instruktioner direkt i sina manus. En karaktär kan börja tala lugnt, bli alltmer frustrerad och avsluta en mening med en viskning, utan att behöva växla mellan separata inspelningar. Även syntetiska skådespelare måste numera ta regi.

Drama 3 stöder även samtal mellan flera karaktärer och 83 språk. Instruktioner kan tillämpas på enskilda ord eller avsnitt, så att kreatörer kan betona specifika uttryck utan att ändra resten av manuset.

Enligt Fish Audio uppnådde modellen 93,2% noggrannhet i Artificial Analysis benchmarktest Pronunciation Robustness, jämfört med 88,1% för föregångaren S2.1 Pro. Korrekt uttal garanterar dock inte nödvändigtvis övertygande känslomässiga framföranden.

Företaget utvecklar också två avancerade redigeringsverktyg. Interactive Editing kommer att låta användare finjustera framföranden genom uppföljande instruktioner, medan Audio Inpainting är utformat för att ersätta enskilda ord utan att generera om hela inspelningar. Båda befinner sig fortfarande i en begränsad testfas som endast är öppen för inbjudna.

Drama 3 är tillgängligt via Fish Audios webbplats, mobilappar och API. Modellvikterna kan också laddas ner, men kommersiell användning omfattas av licensbegränsningar.

Fram till den 12 november kostar API-åtkomst 10 dollar per miljon tecken, en rabatt på 80% jämfört med det ordinarie priset på 50 dollar. Nya kreatörsabonnemang är också rabatterade med 50% under kampanjperioden.