Eliminar duplicados de una lista

Tienes una lista de correos con repetidos, un listado de referencias exportado con líneas en blanco, o los nombres de un sorteo que hay que barajar. Son cinco minutos en una hoja de cálculo y un segundo aquí.

El orden de las operaciones importa

Las casillas se aplican siempre en el mismo orden, y no es casual:

1. Se parte la lista por el separador que elijas.
2. Se limpian los espacios sobrantes de cada elemento.
3. Se quitan las líneas vacías.
4. Se eliminan los repetidos, quedándose con el primero.
5. Se ordena lo que queda.
6. Se numera y se añaden prefijo y sufijo.

La clave está en que la limpieza va antes que la comparación. Si no, «ana@ejemplo.com» y «ana@ejemplo.com » —con un espacio final— serían dos elementos distintos, que es justo el problema que traen las listas copiadas de un correo o de un PDF.

Mayúsculas y tildes

Por defecto se comparan tal cual, que es lo prudente. Las dos casillas relajan esa comparación cuando hace falta:

• Sin distinguir mayúsculas es imprescindible con correos: las direcciones no distinguen mayúsculas de minúsculas, así que Ana@empresa.com y ana@empresa.com son la misma persona y el envío le llegaría dos veces.
• Sin distinguir tildes resuelve el clásico de los nombres importados de sistemas antiguos: «Martínez» y «Martinez» conviviendo en la misma lista.

Cuando dos elementos se consideran iguales, el que se conserva es el primero con su forma original. Es decir, si el primero venía bien escrito, el resultado queda bien escrito.

Los cinco órdenes

A → Z ordena con las reglas del español, que no son las del inglés: la ñ va después de la n y las tildes no alteran la posición. Numérico busca el primer número de cada elemento y ordena por él, así que «Factura 10» va después de «Factura 9» y no antes, que es lo que hace un orden alfabético.

Por longitud es útil para detectar entradas mal cortadas: lo más corto y lo más largo suele ser lo que está mal. Y al azar baraja de verdad, con el generador criptográfico del navegador y el algoritmo de Fisher-Yates, que es el único que reparte todas las ordenaciones con la misma probabilidad.

Para qué se usa

• Limpiar una lista de correos antes de un envío: los duplicados cuestan dinero y molestan a quien los recibe.
• Cruzar dos exportaciones: pega las dos seguidas y quita duplicados para quedarte con el conjunto único.
• Preparar una lista para pegarla en código: el prefijo y el sufijo convierten cada línea en "elemento", de una pasada.
• Sortear entre los participantes de algo, con el orden al azar.

Lo que no hace, y por qué

No busca duplicados parecidos. «Juan Pérez» y «Juan Perez Gómez» son elementos distintos y aquí se quedan los dos. Detectar parecidos exige decidir cuánto de parecido es suficiente, y cualquier umbral que eligiéramos se equivocaría en tu lista concreta: preferimos no fusionar nada que no sea idéntico bajo un criterio que tú controlas.

Correos: el caso que más se repite

Merece sección propia porque tiene reglas que casi nadie conoce y que cambian el resultado.

La parte de después de la arroba —el dominio— no distingue mayúsculas nunca: ana@Empresa.com y ana@empresa.com son la misma dirección, sin discusión. La parte de antes, técnicamente, sí podría distinguirlas, pero en la práctica ningún proveedor lo hace: Gmail, Outlook y los servidores corporativos tratan Ana@ y ana@ como la misma cuenta.

Conclusión práctica: al limpiar una lista de correos, marca siempre «no distinguir mayúsculas». Si no, mandarás el mismo envío dos veces a la misma persona, que además de costar dinero es la forma más rápida de que te marquen como correo no deseado.

Lo que la herramienta no hace, y es deliberado, es aplicar los alias de Gmail: ana.perez@gmail.com, anaperez@gmail.com y anaperez+ofertas@gmail.com llegan al mismo buzón, pero eso solo vale para Gmail. Fusionarlas por nuestra cuenta rompería cualquier lista con dominios propios, así que se dejan como están.

Todo en tu navegador

Por un limpiador de listas pasan bases de correos, listados de clientes y ficheros de personal. Aquí no se envía nada: el proceso ocurre en tu dispositivo mientras escribes. Si además necesitas contar cuántos elementos han quedado, el contador de palabras lo hace con el mismo principio.