SynthID: Mjete për vendosjen e ujit dhe zbulimin e tekstit të krijuar nga LLM

Inteligjenca artificiale gjeneruese (GenAI) mund të gjenerojë një gamë më të gjerë të përmbajtjeve shumë të ndryshme në shkallë të paimagjinuara më parë. Ndërsa shumica e këtij përdorimi është për qëllime legjitime, ekziston shqetësimi se ai mund të kontribuojë në problemet e keqinformimit dhe keqatribuimit. Watermarking është një teknikë për zbutjen e këtyre ndikimeve të mundshme. Filigranët që janë të padukshëm për njerëzit mund të aplikohen në përmbajtjen e gjeneruar nga AI dhe modelet e zbulimit mund të shënojnë përmbajtje arbitrare për të treguar gjasat që ato të jenë filigranë.

SynthID është një teknologji nga Google DeepMind që vendos filigranë dhe identifikon përmbajtjen e krijuar nga AI duke futur filigranë dixhitalë direkt në imazhe, audio, tekst ose video të krijuara nga AI. SynthID Text ka qenë me burim të hapur për të vënë në dispozicion të zhvilluesve filigranin për gjenerimin e tekstit. Ju mund ta lexoni letrën në Nature për një përshkrim teknik më të plotë të metodës.

Një zbatim i nivelit të prodhimit të SynthID Text është i disponueshëm në Hugging Face Transformers v4.46.0+ , të cilin mund ta provoni në hapësirën zyrtare të tekstit SynthID . Një zbatim referimi është gjithashtu i disponueshëm në GitHub që mund të jetë i dobishëm për mirëmbajtësit dhe kontribuesit me burim të hapur që kërkojnë ta sjellin këtë teknikë në korniza të tjera.

Aplikimi i filigranit

Praktikisht, SynthID Text është një procesor logits, i aplikuar në tubacionin e gjenerimit të modelit tuaj pas Top-K dhe Top-P , që shton logitat e modelit duke përdorur një funksion g pseudorandom për të koduar informacionin e filigranit në një mënyrë që ju ndihmon të përcaktoni nëse teksti është krijuar nga modeli juaj, pa ndikuar ndjeshëm në cilësinë e tekstit. Shihni letrën për një përshkrim të plotë teknik të algoritmit dhe analizat se si vlerat e ndryshme të konfigurimit ndikojnë në performancën.

Filigranët janë konfiguruar për të parametrizuar funksionin g dhe mënyrën se si ai zbatohet gjatë gjenerimit. Çdo konfigurim filigrani që përdorni duhet të ruhet në mënyrë të sigurt dhe private , përndryshe filigrani juaj mund të riprodhohet në mënyrë të parëndësishme nga të tjerët.

Duhet të përcaktoni dy parametra në çdo konfigurim filigrani:

  • Parametri i keys është një listë e numrave të plotë unikë, të rastësishëm që përdoren për të llogaritur rezultatet e funksionit g në fjalorin e modelit. Gjatësia e kësaj liste përcakton se sa shtresa të filigranëve aplikohen. Shih Shtojcën C.1 në punim për më shumë detaje.
  • Parametri ngram_len përdoret për të balancuar qëndrueshmërinë dhe zbulueshmërinë; sa më e madhe të jetë vlera, aq më e dallueshme do të jetë filigrani, me koston e të qenit më i brishtë ndaj ndryshimeve. Një gjatësi prej 5 është një vlerë e mirë e paracaktuar.

Ju mund të konfiguroni më tej filigranin bazuar në nevojat tuaja të performancës:

  • Një tabelë kampionimi është konfiguruar nga dy veti, sampling_table_size dhe sampling_table_seed . Ju dëshironi të përdorni një sampling_table_size të paktën216 për të siguruar një funksion g të paanshëm dhe të qëndrueshëm gjatë marrjes së mostrave, por kini parasysh se madhësia e tabelës së kampionimit ndikon në sasinë e memories së kërkuar në kohën e përfundimit. Ju mund të përdorni çdo numër të plotë që ju pëlqen si sampling_table_seed .
  • N -gramët e përsëritur në argumentet e mëparshme të madhësisë context_history_size nuk janë filigranë për të përmirësuar zbulueshmërinë.

Nuk kërkohet trajnim shtesë për të gjeneruar tekst me një filigran teksti SynthID duke përdorur modelet tuaja, vetëm një konfigurim filigrani që kalon në metodën .generate() të modelit për të aktivizuar procesorin SynthID Text logits . Shihni postimin në blog dhe Hapësirën për shembuj kodesh që tregojnë se si të aplikoni një filigran në bibliotekën e Transformers.

Zbulimi dhe verifikueshmëria e filigranëve

Zbulimi i filigranit është i mundshëm. Një detektor Bayesian ofrohet me Transformatorët Hugging Face dhe në GitHub . Ky detektor mund të nxjerrë tre gjendje të mundshme zbulimi - me ujëra, jo me ujëra ose të pasigurt - dhe sjellja mund të personalizohet duke vendosur dy vlera pragu për të arritur një normë specifike false pozitive dhe false negative. Shih Shtojcën C.8 në punim për më shumë detaje.

Modelet që përdorin të njëjtin tokenizues mund të ndajnë gjithashtu konfigurimin dhe detektorin e filigranit, duke ndarë kështu një filigran të përbashkët, për sa kohë që grupi i trajnimit të detektorit përfshin shembuj nga të gjitha modelet që ndajnë filigranin.

Pasi të keni një detektor të trajnuar, ju keni një zgjedhje nëse dhe si t'ia ekspozoni atë përdoruesve tuaj dhe publikut në përgjithësi.

  • Opsioni plotësisht privat nuk e lëshon ose ekspozon detektorin në asnjë mënyrë.
  • Opsioni gjysmë privat nuk e lëshon detektorin, por e ekspozon atë përmes një API.
  • Opsioni publik lëshon detektorin që të tjerët ta shkarkojnë dhe përdorin.

Ju dhe organizata juaj duhet të vendosni se cila qasje e verifikimit të zbulimit është më e mira për nevojat tuaja, bazuar në aftësinë tuaj për të mbështetur infrastrukturën dhe proceset përkatëse.

Kufizimet

Filigranët e tekstit SynthID janë të qëndrueshme për disa transformime - prerja e pjesëve të tekstit, modifikimi i disa fjalëve ose parafrazimi i butë - por kjo metodë ka kufizime.

  • Aplikimi i filigranit është më pak efektiv në përgjigjet faktike, pasi ka më pak mundësi për të shtuar gjenerimin pa ulur saktësinë.
  • Rezultatet e besueshmërisë së detektorit mund të reduktohen shumë kur një tekst i krijuar nga AI rishkruhet tërësisht ose përkthehet në një gjuhë tjetër.

SynthID Text nuk është krijuar për të ndaluar drejtpërdrejt kundërshtarët e motivuar që të shkaktojnë dëm. Sidoqoftë, mund ta bëjë më të vështirë përdorimin e përmbajtjes së krijuar nga AI për qëllime keqdashëse dhe mund të kombinohet me qasje të tjera për të dhënë mbulim më të mirë në të gjitha llojet e përmbajtjeve dhe platformat.