Traducción de voz IA

Traducción de voz / AI dubbing

Lanzamos la herramienta de traducción de voz IA el próximo mes. Esto permite a los usuarios convertir cualquier contenido de audio o video a otro idioma manteniendo la voz original del hablante. Nuestro objetivo es claro: hacer que el contenido multilingüe sea accesible y auténtico en medios como streaming, videojuegos y películas.

Hemos visto a Spotify y OpenAI mostrar sus avances en traducción de voz y capacidades de habla, y estamos emocionados de compartir noticias sobre nuestros propios desarrollos.

La próxima herramienta no se trata solo de traducción; se trata de preservar la identidad del hablante y los patrones de habla originales en varios idiomas, permitiendo una experiencia más conectada e inmersiva que la que ofrece el subtitulado tradicional.

Imagina un video educativo en inglés. Si alguien solo habla español (pero de otro modo encontraría el tema interesante), eso es un problema. Queremos poder generar a la persona original hablando el mensaje original de manera natural en español nativo.

Esto requiere combinar conversión de voz, voice cloning y multilingüe síntesis de voz en una sola herramienta nueva. Aquí, el voice cloning nos permite preservar la identidad del hablante - el sonido de su voz. Usamos síntesis de voz para generar nuevas expresiones en otro idioma como si fuera la misma persona hablando. La conversión de voz entra en juego porque queremos preservar las emociones originales, la intención y el estilo de entonación para una máxima inmersión.

Hemos invertido mucha investigación e innovación en desarrollar tecnología que pueda reproducir el habla humana de manera ultra-realista, entender el contexto y codificar perfiles de voz. Nuestra herramienta de traducción de voz IA es un paso significativo hacia permitir a creadores ampliar su alcance y ayudar a audiencias potenciales a descubrir contenido que encuentren relevante y cautivador, sin importar el idioma que entiendan.

¿Qué es doblaje, conversión de voz y síntesis de voz?

El doblaje es un proceso para proporcionar a un video una banda sonora en otro idioma reemplazando las voces de los actores originales con las de intérpretes que hablan otro idioma - también conocido como "re-voicing" - tradicionalmente una tarea costosa y que consume mucho tiempo. En Eleven, nuestro objetivo es hacerlo automáticamente mientras preservamos las voces originales en varios idiomas.

La conversión de voz permite que una persona hable con la voz de otra. Utiliza voice cloning para codificar una voz objetivo y superponerla sobre la voz fuente. El resultado es el mensaje original aparentemente hablado por otra persona.

Text-to-speech (TTS) es la raíz de toda la tecnología de síntesis de voz. TTS ha mejorado radicalmente a lo largo de los años, aunque todavía suena a menudo robótico. Eso se debe a que pronunciar palabras con fluidez por sí solo es insuficiente para dar al habla calidad humana. Es el tono y el ritmo impulsados por la intención que provienen de entender lo que se dice lo que lo hace sonar natural. En Eleven, intentamos lograr precisamente eso: exponiendo nuestro modelo a una gran cantidad de datos de habla humana, lo entrenamos para entender tanto el contexto lógico como emocional de las expresiones, y ajustar la entonación en consecuencia.

Próximamente

Esperamos con ansias el lanzamiento en octubre y cambiar la forma en que interactuamos con contenido multilingüe.