最近做了一个采集程序,在插入数据库时候一直报错,SQLException: Incorrect string value:\xF0\x9F\x91\x87\xE2\x80...,很明显是因为文本中含有特殊字符导致了插入失败,之前遇到这种问题都是想尽办法在插入数据库前把不合法的字段过滤掉的,但是这个会导致文本的不完整,仔细检查了一下终于找到了根本的原因

原来mysql支持的 utf8 编码最大字符长度为 3 字节,如果遇到 4 字节的宽字符就会插入异常了。三个字节的 UTF-8 最大能编码的 Unicode 字符是 0xffff,也就是 Unicode 中的基本多文种平面(BMP)。也就是说,任何不在基本多文本平面的 Unicode字符,都无法使用 Mysql 的 utf8 字符集存储。包括 Emoji 表情(Emoji 是一种特殊的 Unicode 编码,常见于 ios 和 android 手机上),和很多不常用的汉字,以及任何新增的 Unicode 字符等等

为了让以后的程序都没有这个烦恼,如果是针对初装MYSQL可以在配置文件中解决,把默认的字符编码修改为utf8mb4,这样以后新建的表就不会有这个烦恼了

vi /etc/my.cnf
#在[mysqld]下方加入两行配置文件
character-set-server = utf8mb4
default-character-set = utf8mb4
#修改完成后重启Mysql
/etc/init.d/mysql restart

如果你使用的是thinkphp 或者其他php框架,最主要的一点就是要修改数据库连接的默认编码方式

'DB_CHARSET'=> 'utf8mb4', //支持四字节长度

而大部分码农都是建完表后才遇到这个问题,就要继续往下看

首先修改数据表的默认编码

ALTER TABLE `test` DEFAULT CHARACTER SET utf8mb4;
其次修改表中对应字段的默认编码

ALTER TABLE `test` CHANGE `name` `name` text CHARACTER SET utf8mb4 NOT NULL; 

完成以上几个步骤你的数据库就可以顺利插入Emoji 表情包了

mysql设置编码为utf8mb...

1. MySQL的版本 utf8mb4的最低mysql版本支持版本为5.5.3+,若不是,请升级到较新版本。 2. ...

阅读全文