Generazione di musica utilizzando Lyria RealTime

L'API Gemini, che utilizza Lyria RealTime, fornisce l'accesso a un modello di generazione di musica in streaming in tempo reale all'avanguardia. Consente agli sviluppatori di creare applicazioni in cui gli utenti possono creare, dirigere ed eseguire musica strumentale in modo interattivo.

Per provare cosa si può creare con Lyria RealTime, provalo su AI Studio utilizzando le app Prompt DJ o MIDI DJ.

Come funziona la generazione di musica

La generazione di musica in tempo reale di Lyria utilizza una connessione di streaming persistente, bidirezionale e a bassa latenza tramite WebSocket.

Generare e controllare la musica

Lyria RealTime funziona un po' come l'API Live, nel senso che utilizza i websocket per mantenere una comunicazione in tempo reale con il modello. Non è ancora esattamente la stessa cosa, in quanto non puoi parlare con il modello e devi utilizzare un formato specifico per richiedere un prompt.

Il seguente codice mostra come generare musica:

  import asyncio
  from google import genai
  from google.genai import types

  client = genai.Client(http_options={'api_version': 'v1alpha'})

  async def main():
      async def receive_audio(session):
        """Example background task to process incoming audio."""
        while True:
          async for message in session.receive():
            audio_data = message.server_content.audio_chunks[0].data
            # Process audio...
            await asyncio.sleep(10**-12)

      async with (
        client.aio.live.music.connect(model='models/lyria-realtime-exp') as session,
        asyncio.TaskGroup() as tg,
      ):
        # Set up task to receive server messages.
        tg.create_task(receive_audio(session))

        # Send initial prompts and config
        await session.set_weighted_prompts(
          prompts=[
            types.WeightedPrompt(text='minimal techno', weight=1.0),
          ]
        )
        await session.set_music_generation_config(
          config=types.LiveMusicGenerationConfig(bpm=90, temperature=1.0)
        )

        # Start streaming music
        await session.play()
  if __name__ == "__main__":
      asyncio.run(main())

import { GoogleGenAI } from "@google/genai";
import Speaker from "speaker";
import { Buffer } from "buffer";

const client = new GoogleGenAI({
  apiKey: GEMINI_API_KEY,
    apiVersion: "v1alpha" ,
});

async function main() {
  const speaker = new Speaker({
    channels: 2,       // stereo
    bitDepth: 16,      // 16-bit PCM
    sampleRate: 44100, // 44.1 kHz
  });

  const session = await client.live.music.connect({
    model: "models/lyria-realtime-exp",
    callbacks: {
      onmessage: (message) => {
        if (message.serverContent?.audioChunks) {
          for (const chunk of message.serverContent.audioChunks) {
            const audioBuffer = Buffer.from(chunk.data, "base64");
            speaker.write(audioBuffer);
          }
        }
      },
      onerror: (error) => console.error("music session error:", error),
      onclose: () => console.log("Lyria RealTime stream closed."),
    },
  });

  await session.setWeightedPrompts({
    weightedPrompts: [
      { text: "Minimal techno with deep bass, sparse percussion, and atmospheric synths", weight: 1.0 },
    ],
  });

  await session.setMusicGenerationConfig({
    musicGenerationConfig: {
      bpm: 90,
      temperature: 1.0,
      audioFormat: "pcm16",  // important so we know format
      sampleRateHz: 44100,
    },
  });

  await session.play();
}

main().catch(console.error);

Puoi quindi utilizzare session.play(), session.pause(), session.stop() e session.reset_context() per avviare, mettere in pausa, interrompere o reimpostare la sessione.

Controllare la musica in tempo reale

Prompt Lyria RealTime

Mentre lo stream è attivo, puoi inviare nuovi messaggi WeightedPrompt in qualsiasi momento per modificare la musica generata. La transizione del modello avverrà in modo fluido in base al nuovo input.

I prompt devono seguire il formato corretto con un text (il prompt effettivo) e un weight. weight può assumere qualsiasi valore tranne 0. 1.0 è solitamente un buon punto di partenza.

  await session.set_weighted_prompts(
    prompts=[
      {"text": "Piano", "weight": 2.0},
      types.WeightedPrompt(text="Meditation", weight=0.5),
      types.WeightedPrompt(text="Live Performance", weight=1.0),
    ]
  )

  await session.setMusicGenerationConfig({
    weightedPrompts: [
      { text: 'Harmonica', weight: 0.3 },
      { text: 'Afrobeat', weight: 0.7 }
    ],
  });

Tieni presente che le transizioni del modello possono essere un po' brusche quando si modificano drasticamente i prompt, pertanto è consigliabile implementare una sorta di dissolvenza incrociata inviando valori di peso intermedi al modello.

Aggiorna la configurazione

Puoi anche aggiornare i parametri di generazione della musica in tempo reale. Non puoi semplicemente aggiornare un parametro, devi impostare l'intera configurazione, altrimenti gli altri campi verranno ripristinati ai valori predefiniti.

Poiché l'aggiornamento del BPM o della scala è una modifica drastica per il modello, devi anche indicare di reimpostare il contesto utilizzando reset_context() per tenere conto della nuova configurazione. Non interromperà lo stream, ma la transizione sarà brusca. Non è necessario farlo per gli altri parametri.

  await session.set_music_generation_config(
    config=types.LiveMusicGenerationConfig(
      bpm=128,
      scale=types.Scale.D_MAJOR_B_MINOR,
      music_generation_mode=types.MusicGenerationMode.QUALITY
    )
  )
  await session.reset_context();

  await session.setMusicGenerationConfig({
    musicGenerationConfig: { 
      bpm: 120,
      density: 0.75,
      musicGenerationMode: MusicGenerationMode.QUALITY
    },
  });
  await session.reset_context();

Guida ai prompt per Lyria RealTime

Ecco un elenco non esaustivo di prompt che puoi utilizzare per richiedere a Lyria RealTime:

• Strumenti: 303 Acid Bass, 808 Hip Hop Beat, Accordion, Alto Saxophone, Bagpipes, Balalaika Ensemble, Banjo, Bass Clarinet, Bongos, Boomy Bass, Bouzouki, Buchla Synths, Cello, Charango, Clavichord, Conga Drums, Didgeridoo, Dirty Synths, Djembe, Drumline, Dulcimer, Fiddle, Flamenco Guitar, Funk Drums, Glockenspiel, Guitar, Hang Drum, Harmonica, Harp, Harpsichord, Hurdy-gurdy, Kalimba, Koto, Lyre, Mandolin, Maracas, Marimba, Mbira, Mellotron, Metallic Twang, Moog Oscillations, Ocarina, Persian Tar, Pipa, Precision Bass, Ragtime Piano, Rhodes Piano, Shamisen, Shredding Guitar, Sitar, Slide Guitar, Smooth Pianos, Spacey Synths, Steel Drum, Synth Pads, Tabla, TR-909 Drum Machine, Trumpet, Tuba, Vibraphone, Viola Ensemble, Warm Acoustic Guitar, Woodwinds, ...
• Genere musicale: Acid Jazz, Afrobeat, Alternative Country, Baroque, Bengal Baul, Bhangra, Bluegrass, Blues Rock, Bossa Nova, Breakbeat, Celtic Folk, Chillout, Chiptune, Classic Rock, Contemporary R&B, Cumbia, Deep House, Disco Funk, Drum & Bass, Dubstep, EDM, Electro Swing, Funk Metal, G-funk, Garage Rock, Glitch Hop, Grime, Hyperpop, Indian Classical, Indie Electronic, Indie Folk, Indie Pop, Irish Folk, Jam Band, Jamaican Dub, Jazz Fusion, Latin Jazz, Lo-Fi Hip Hop, Marching Band, Merengue, New Jack Swing, Minimal Techno, Moombahton, Neo-Soul, Orchestral Score, Piano Ballad, Polka, Post-Punk, 60s Psychedelic Rock, Psytrance, R&B, Reggae, Reggaeton, Renaissance Music, Salsa, Shoegaze, Ska, Surf Rock, Synthpop, Techno, Trance, Trap Beat, Trip Hop, Vaporwave, Witch house, ...
• Umore/Descrizione: Acoustic Instruments, Ambient, Bright Tones, Chill, Crunchy Distortion, Danceable, Dreamy, Echo, Emotional, Ethereal Ambience, Experimental, Fat Beats, Funky, Glitchy Effects, Huge Drop, Live Performance, Lo-fi, Ominous Drone, Psychedelic, Rich Orchestration, Saturated Tones, Subdued Melody, Sustained Chords, Swirling Phasers, Tight Groove, Unsettling, Upbeat, Virtuoso, Weird Noises, ...

Questi sono solo alcuni esempi, Lyria RealTime può fare molto di più. Sperimenta con i tuoi prompt.

Best practice

• Le applicazioni client devono implementare un buffering audio efficace per garantire una riproduzione fluida. Ciò consente di tenere conto del jitter della rete e delle lievi variazioni nella latenza di generazione.
• Prompt efficaci:
  • Fornisci una descrizione dettagliata. Utilizza aggettivi che descrivano l'atmosfera, il genere e gli strumenti.
  • Itera e sterza gradualmente. Anziché modificare completamente il prompt, prova ad aggiungere o modificare elementi per trasformare la musica in modo più fluido.
  • Sperimenta con il peso su WeightedPrompt per influenzare l'impatto di un nuovo prompt sulla generazione in corso.

Dettagli tecnici

Questa sezione descrive i dettagli su come utilizzare la generazione di musica in tempo reale di Lyria.

Specifiche

• Formato di output: audio PCM a 16 bit non elaborato
• Frequenza di campionamento: 48 kHz
• Canali: 2 (stereo)

Controlli

La generazione di musica può essere influenzata in tempo reale inviando messaggi contenenti:

• WeightedPrompt: una stringa di testo che descrive un'idea musicale, un genere, uno strumento, un'atmosfera o una caratteristica. È possibile fornire più prompt per combinare le influenze. Per maggiori dettagli su come creare prompt efficaci per Lyria RealTime, consulta la sezione precedente.
• MusicGenerationConfig: configurazione del processo di generazione della musica, che influenza le caratteristiche dell'audio di output. Parametri include:
  • guidance: (float) Range: [0.0, 6.0]. Predefinito: 4.0. Controlla il livello di aderenza del modello ai prompt. Una guida più elevata migliora l'aderenza al prompt, ma rende le transizioni più brusche.
  • bpm: (int) Intervallo: [60, 200]. Imposta i battiti al minuto che vuoi per la musica generata. Devi interrompere/riprodurre o reimpostare il contesto del modello in modo che tenga conto del nuovo bpm.
  • density: (float) Range: [0.0, 1.0]. Controlla la densità delle note/dei suoni musicali. Valori più bassi producono musica più rada, mentre valori più alti producono musica più "frenetica".
  • brightness: (float) Range: [0.0, 1.0]. Regola la qualità tonale. I valori più alti producono un audio "più brillante", che in genere enfatizza le frequenze più alte.
  • scale: (Enum) Imposta la scala musicale (tonalità e modo) per la generazione. Utilizza i valori enum Scale forniti dall'SDK. Devi interrompere/riprodurre o reimpostare il contesto del modello per tenere conto della nuova scala.
  • mute_bass: (booleano) Predefinito: False. Controlla se il modello riduce i bassi degli output.
  • mute_drums: (booleano) Predefinito: False. Controlla se l'output del modello riduce i tamburi dell'output.
  • only_bass_and_drums: (booleano) Predefinito: False. Guida il modello a cercare di produrre solo basso e batteria.
  • music_generation_mode: (enumerazione) Indica al modello se deve concentrarsi su QUALITY (valore predefinito) o DIVERSITY della musica. Può anche essere impostato su VOCALIZATION per consentire al modello di generare vocalizzazioni come un altro strumento (aggiungendole come nuovi prompt).
• PlaybackControl: Comandi per controllare gli aspetti della riproduzione, ad esempio riproduci, metti in pausa, interrompi o reimposta il contesto.

Per bpm, density, brightness e scale, se non viene fornito alcun valore, il modello deciderà qual è la soluzione migliore in base ai prompt iniziali.

Anche i parametri più classici come temperature (da 0,0 a 3,0, valore predefinito 1,1), top_k (da 1 a 1000, valore predefinito 40) e seed (da 0 a 2.147.483.647, selezionato casualmente per impostazione predefinita) sono personalizzabili in MusicGenerationConfig.

Scala valori enum

Di seguito sono riportati tutti i valori di scala che il modello può accettare:

Il modello è in grado di guidare le note riprodotte, ma non distingue tra tonalità relative. Pertanto, ogni enumerazione corrisponde sia alla relativa maggiore che minore. Ad esempio, C_MAJOR_A_MINOR corrisponderebbe a tutti i tasti bianchi di un pianoforte e F_MAJOR_D_MINOR a tutti i tasti bianchi tranne il si bemolle.

Limitazioni

• Solo strumentale: il modello genera solo musica strumentale.
• Sicurezza: i prompt vengono controllati dai filtri di sicurezza. I prompt che attivano i filtri verranno ignorati e verrà scritta una spiegazione nel campo filtered_prompt dell'output.
• Applicazione di filigrane: l'audio di output è sempre filigranato per l'identificazione in base ai nostri principi di AI responsabile.

Passaggi successivi

• Invece della musica, scopri come generare una conversazione con più interlocutori utilizzando i modelli TTS.
• Scopri come generare immagini o video,
• Invece di generare musica o audio, scopri come Gemini può comprendere i file audio,
• Avvia una conversazione in tempo reale con Gemini utilizzando l'API Live.

Esplora il Cookbook per altri esempi di codice e tutorial.