¿Cuánta calidad cuesta un eliminador de voz más rápido?

La respuesta corta

El modelo más rápido que medimos trabajó más de 200 veces más deprisa que el más lento, pero sus voces fueron unos 5 dB menos precisas que el mejor resultado. Es una diferencia que la mayoría de la gente oye enseguida, como batería y guitarras que se cuelan en la voz. Entre los modelos medianos y el más grande, la mejora se redujo a 1–2 dB, a cambio de entre dos y once veces más tiempo de proceso.

En la práctica, un eliminador muy rápido sirve para hacerse una idea o para practicar. Para un remix, una versión o una pista de karaoke que vayas a compartir, el tiempo de proceso adicional suele merecer la pena.

Qué probamos

Usamos MUSDB18, una colección pública de investigación con canciones publicadas junto con sus pistas separadas de voz, batería, bajo y otros instrumentos, de modo que una voz separada se puede comparar con la real. Pasamos cada modelo por fragmentos de 7 segundos de las 50 canciones de su conjunto de prueba, medimos la relación señal-distorsión (SDR) que se usa en el Music Demixing Challenge y damos la mediana de las 50 canciones.

La velocidad es el número de segundos de proceso por cada segundo de audio en un procesador de portátil reciente (Apple M4, cuatro hilos). Un valor de 0,5 significa que una canción de tres minutos tarda alrededor de un minuto y medio.

Resultados

Abrir gráfico a tamaño completo

• Spleeter es muy rápido, pero su salida se detiene en 11 kHz, así que las voces suenan apagadas.
• SCNet small, SCNet large y SCNet XL IHF también separan batería, bajo y otros instrumentos; SCNet XL IHF dio la mejor batería y los mejores otros instrumentos del grupo.
• DTTNet solo separa la voz, y su salida de voz se detiene cerca de 14,7 kHz.
• El modelo transformer grande solo separa voz e instrumental, y dio las voces más limpias de esta prueba.

Todos los modelos puntuaron más alto en el instrumental que en la voz. El instrumental lleva más energía de la canción, así que la misma cantidad de sonido sobrante le resta menos. Para una pista de karaoke o una base, fíjate en la puntuación del instrumental; para un remix o una voz a capela, en la de la voz.

El tamaño por sí solo no decidió la calidad. El modelo de voz más pequeño de la prueba quedó a 1,4 dB de las mejores voces, y el modelo más lento no fue el más preciso. Cómo se diseña y entrena un modelo importa tanto como su tamaño.

Cómo suenan las diferencias

Estas descripciones son una guía aproximada. La misma puntuación puede sonar distinta en dos canciones, porque la puntuación resume todos los tipos de error en una sola cifra.

Qué más decide lo limpio que queda el resultado

• Calidad del archivo. Un archivo sin pérdida o de alta calidad se separa mejor que una descarga de baja calidad, porque la compresión difumina los detalles que usa un modelo para distinguir la voz de la música.
• Reverberación y eco. Los ecos de la voz pueden tratarse como parte de la voz o de la música, así que una voz con mucho efecto puede dejar un rastro en el instrumental.
• Coros e improvisaciones vocales. Cuentan como voz, así que un eliminador de voz normalmente también quita los coros de una pista de karaoke.
• Instrumentos en el registro de la voz. El saxofón, los sintetizadores principales y los samples vocales pueden tratarse en parte como voz.
• Grabaciones antiguas y mono. Cuando la voz y la banda comparten un solo canal y un rango estrecho de frecuencias, cualquier modelo tiene menos información.
• El tipo de mezcla. Estas puntuaciones proceden de mezclas de estudio. Las grabaciones en directo, el ruido del público y los másteres muy densos pueden puntuar más bajo.

Cómo obtener un resultado más limpio

1. Empieza con el mejor archivo que tengas. Un máster WAV o FLAC es mejor que una copia de streaming o recodificada.
2. Escucha las dos salidas en el estribillo más fuerte, donde más se nota lo que se cuela, y en una estrofa suave, donde los artefactos se oyen mejor.
3. Comprueba una pista de karaoke con auriculares. Los restos de voz se oyen mejor ahí que en altavoces.
4. Si solo necesitas una parte de la canción, recórtala primero. Los archivos más cortos terminan antes y son más fáciles de revisar.

Para recortar primero, usa la herramienta para cortar audio. Si necesitas la batería o el bajo además de la voz, usa el separador de pistas en lugar de separar la canción dos veces.

Eliminador de voz y separador de pistas

El eliminador de voz separa una canción en una pista de voz y un instrumental, para karaoke, práctica o una voz a capela. El separador de pistas separa voz, batería, bajo y otros instrumentos para remezclar y estudiar.

¿Vas a crear un remix con el instrumental? Lee por qué un detector de BPM muestra la mitad o el doble del tempo y qué precisión tiene la detección automática de tonalidad antes de combinarlo con otro tema.