Bitzu

AI-901 · Rozwiązania dla tekstu i mowy

Mówione prompty z modelem obsługującym audio

Najważniejsze

  • Wdróż model czatu obsługujący audio (np. gpt-4o-audio-preview lub gpt-4o-mini-audio-preview).
  • Wyślij dźwięk w wiadomości użytkownika jako część treści {type: input_audio, input_audio: {data: <base64>, format: wav}}.
  • Dla mówionej odpowiedzi dodaj modalities [text, audio] i audio {voice, format}; dźwięk odpowiedzi wraca w base64 w message.audio.data.
  • Jedno wywołanie zastępuje potok: mowa na tekst, czat, tekst na mowę.

Źródło: https://learn.microsoft.com/en-us/azure/foundry/openai/audio-completions-quickstart

Przykładowe pytania

Jednokrotny wybór

Jakiego typu części treści używa się, by umieścić nagrany dźwięk w wiadomości użytkownika w chat completions?

  1. input_audio
  2. image_url
  3. audio_url
  4. speech_blob
Pokaż odpowiedź

Odpowiedź: A. input_audio

Dźwięk trafia do części typu input_audio z danymi base64 i formatem. image_url służy do obrazów.

Zaznacz wszystkie poprawne

W porównaniu z transkrypcją mowy, a potem wywołaniem tekstowego modelu czatu, co daje jedno wywołanie modelu obsługującego audio?

  1. Dźwięk trafia prosto do jednego żądania czatu
  2. Odpowiedź może być samym tekstem lub tekstem z mówionym dźwiękiem
  3. Nie trzeba osobnego kroku transkrypcji przed wywołaniem czatu
  4. Dźwięk musi najpierw przetranskrybować zasób Azure Speech
  5. Prompty tekstowe nie są już przyjmowane
Pokaż odpowiedź

Odpowiedź: A. Dźwięk trafia prosto do jednego żądania czatu, B. Odpowiedź może być samym tekstem lub tekstem z mówionym dźwiękiem, C. Nie trzeba osobnego kroku transkrypcji przed wywołaniem czatu

Model przyjmuje dźwięk bezpośrednio, może odpowiedzieć tekstem, a w tym samym wywołaniu także mową. Nie wymaga wcześniejszej transkrypcji w Azure Speech, a wejście tekstowe nadal jest dozwolone.

Prawda czy fałsz

Aby wysłać mówione pytanie do modelu czatu obsługującego audio, trzeba je najpierw zamienić na tekst w Azure Speech.

Pokaż odpowiedź

Odpowiedź: Fałsz

Fałsz. Model przyjmuje dźwięk bezpośrednio jako część input_audio. Krok mowy na tekst jest potrzebny tylko przy wyborze osobnego potoku.

Przećwicz 8 pytań z tego tematu w Bitzu

Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.

Download on the App StoreGet it on Google Play

Więcej tematów AI-901 w tym module