¿Cuál es la diferencia entre utf8mb4 y utf8 charsets en MySQL?

¿Cuál es la diferencia entre utf8mb4y utf8juegos de caracteres en MySQL ?

Ya conozco las codificaciones ASCII , UTF-8 , UTF-16 y UTF-32 ; pero tengo curiosidad por saber cuál es la diferencia del utf8mb4grupo de codificaciones con otros tipos de codificación definidos en MySQL Server .

¿Existen beneficios / propuestas especiales de usar en utf8mb4lugar de utf8?

UTF-8 es una codificación de longitud variable. En el caso de UTF-8, esto significa que almacenar un punto de código requiere de uno a cuatro bytes. Sin embargo, la codificación de MySQL llamada "utf8" (alias de "utf8mb3") solo almacena un máximo de tres bytes por punto de código.

Por lo tanto, el juego de caracteres "utf8" / "utf8mb3" no puede almacenar todos los puntos de código Unicode: solo admite el rango 0x000 a 0xFFFF, que se denomina " Plano multilingüe básico ". Consulte también Comparación de codificaciones Unicode .

Esto es lo que (una versión anterior de la misma página en) tiene que decir la documentación de MySQL al respecto:

El conjunto de caracteres denominado utf8 [/ utf8mb3] utiliza un máximo de tres bytes por carácter y solo contiene caracteres BMP. A partir de MySQL 5.5.3, el conjunto de caracteres utf8mb4 utiliza un máximo de cuatro bytes por carácter que admite caracteres suplementarios:

• Para un carácter BMP, utf8 [/ utf8mb3] y utf8mb4 tienen características de almacenamiento idénticas: mismos valores de código, misma codificación, misma longitud.

• Para un carácter suplementario, utf8 [/ utf8mb3] no puede almacenar el carácter en absoluto , mientras que utf8mb4 requiere cuatro bytes para almacenarlo. Dado que utf8 [/ utf8mb3] no puede almacenar el carácter en absoluto, no tiene caracteres suplementarios en las columnas utf8 [/ utf8mb3] y no necesita preocuparse por convertir caracteres o perder datos al actualizar utf8 [/ utf8mb3] datos de versiones anteriores de MySQL.

Entonces, si desea que su columna admita el almacenamiento de caracteres que se encuentran fuera del BMP (y generalmente lo desea), como emoji , use "utf8mb4". Consulte también ¿Cuáles son los caracteres Unicode no BMP más comunes en el uso real? [cerrado].

El utf8mb4conjunto de caracteres es útil porque hoy en día necesitamos soporte para almacenar no solo caracteres del idioma, sino también símbolos, emojis recién introducidos, etc.

Una buena lectura sobre Cómo admitir Unicode completo en bases de datos MySQL de Mathias Bynens también puede arrojar algo de luz sobre esto.

Tomado del Manual de referencia de MySQL 8.0 :

• utf8mb4: Una codificación UTF-8 del juego de caracteres Unicode que utiliza de uno a cuatro bytes por carácter.

• utf8mb3: Una codificación UTF-8 del juego de caracteres Unicode que utiliza de uno a tres bytes por carácter.

En MySQL utf8 es actualmente un alias para el utf8mb3cual está obsoleto y se eliminará en una futura versión de MySQL . En ese punto utf8 se convertirá en una referencia utf8mb4 .

Entonces, independientemente de este alias, puede establecer conscientemente una utf8mb4codificación.

Para completar la respuesta, me gustaría agregar el comentario de @ WilliamEntriken a continuación (también tomado del manual):

Para evitar la ambigüedad sobre el significado de utf8, considere especificar utf8mb4explícitamente las referencias del juego de caracteres en lugar de utf8.

En MySQL, se utf8refiere a una implementación defectuosa del estándar UTF-8 en la que no se admiten todos los rangos de caracteres.

Específicamente, solo funcionan los personajes en el plano multilingüe básico, mientras que otros personajes se consideran inválidos. Esto se debe a que los valores dentro de ese plano, 0 a 65535 (algunos de los cuales están reservados por razones especiales) se pueden representar mediante codificaciones multibyte en UTF-8 de hasta 3 bytes, y la versión de MySQL de UTF-8 decidió arbitrariamente establezca eso como un límite.

Cuando MySQL lanzó esto, eso no fue un gran problema. Desde entonces, se han agregado más y más rangos de caracteres definidos a Unicode con valores fuera del plano multilingüe básico.

En un esfuerzo por no romper el código antiguo haciendo suposiciones particulares, MySQL retuvo la implementación rota y llamó a la versión más nueva y fija utf8mb4. Esto ha llevado a cierta confusión con el nombre malinterpretado como si fuera algún tipo de extensión de UTF-8, en lugar de la verdadera implementación oficial de UTF-8 de MySQL.

Las versiones futuras de MySQL pueden eventualmente eliminar gradualmente la versión anterior, pero en el futuro previsible utf8mb4se usará en su lugar para garantizar la codificación UTF-8 correcta.

Algunos pueden tener problemas para que yo describa la implementación anterior, que no cumple, como defectuosa o rota. Pero es cierto que al permitir solo codificaciones multibyte de hasta 3 bytes nunca siguió correctamente el estándar UTF-8 tal como existió en cualquier momento y esa es la razón de sus fallas. En ningún momento se definió que UTF-8 admitiera hasta 3 bytes: la única vez que no se definió como de hasta 4 bytes fue cuando originalmente se definió como de hasta 6 bytes (!!), que las especificaciones Unicode posteriores tienen decidió que era una exageración.