AI-901 · Rozwiązania dla tekstu i mowy
Mówione prompty z modelem obsługującym audio
Najważniejsze
- Wdróż model czatu obsługujący audio (np. gpt-4o-audio-preview lub gpt-4o-mini-audio-preview).
- Wyślij dźwięk w wiadomości użytkownika jako część treści {type: input_audio, input_audio: {data: <base64>, format: wav}}.
- Dla mówionej odpowiedzi dodaj modalities [text, audio] i audio {voice, format}; dźwięk odpowiedzi wraca w base64 w message.audio.data.
- Jedno wywołanie zastępuje potok: mowa na tekst, czat, tekst na mowę.
Źródło: https://learn.microsoft.com/en-us/azure/foundry/openai/audio-completions-quickstart
Przykładowe pytania
Jakiego typu części treści używa się, by umieścić nagrany dźwięk w wiadomości użytkownika w chat completions?
- input_audio
- image_url
- audio_url
- speech_blob
Pokaż odpowiedź
Odpowiedź: A. input_audio
Dźwięk trafia do części typu input_audio z danymi base64 i formatem. image_url służy do obrazów.
W porównaniu z transkrypcją mowy, a potem wywołaniem tekstowego modelu czatu, co daje jedno wywołanie modelu obsługującego audio?
- Dźwięk trafia prosto do jednego żądania czatu
- Odpowiedź może być samym tekstem lub tekstem z mówionym dźwiękiem
- Nie trzeba osobnego kroku transkrypcji przed wywołaniem czatu
- Dźwięk musi najpierw przetranskrybować zasób Azure Speech
- Prompty tekstowe nie są już przyjmowane
Pokaż odpowiedź
Odpowiedź: A. Dźwięk trafia prosto do jednego żądania czatu, B. Odpowiedź może być samym tekstem lub tekstem z mówionym dźwiękiem, C. Nie trzeba osobnego kroku transkrypcji przed wywołaniem czatu
Model przyjmuje dźwięk bezpośrednio, może odpowiedzieć tekstem, a w tym samym wywołaniu także mową. Nie wymaga wcześniejszej transkrypcji w Azure Speech, a wejście tekstowe nadal jest dozwolone.
Aby wysłać mówione pytanie do modelu czatu obsługującego audio, trzeba je najpierw zamienić na tekst w Azure Speech.
Pokaż odpowiedź
Odpowiedź: Fałsz
Fałsz. Model przyjmuje dźwięk bezpośrednio jako część input_audio. Krok mowy na tekst jest potrzebny tylko przy wyborze osobnego potoku.
Przećwicz 8 pytań z tego tematu w Bitzu
Krótkie lekcje, natychmiastowe wyjaśnienia i powtórki tego, w czym się mylisz. Za darmo na iOS i Androida.
