• 欢迎光临~

MySQL数据库sql_mode导致varchar字段超过长度被截断插入

开发技术 开发技术 2022-07-27 次浏览

django数据库设置sql_mode
MySQL的sql_mode解析与设置
mysql中sql_mode的修改

sql_mode:它定义了MySQL应该支持的sql语法,对数据的校验等等。

问题

数据库varchar字段做了长度限制,线上环境发现插入超过长度的value成功,并且value被截断。

排查中发现不是代码问题,连接线上数据库超长的value在插入成功,
连接本地库插入超长value报错django.db.utils.DataError: (1406, "Data too long for column 'value' at row 1")

看来是数据库设置问题

django中开启sql_mode严格检查

查看本地sql_mode

SHOW VARIABLES LIKE '%sql_mode%';

MySQL数据库sql_mode导致varchar字段超过长度被截断插入

STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION

查看线上sql_mode
MySQL数据库sql_mode导致varchar字段超过长度被截断插入

很明显线上环境没有开启严格SQL检查

考虑到sql_mode是在数据库conf配置的,无法保证客户的数据库都开启,尝试在代码中临时修改sql_mode

翻阅django文档,找到了如下配置
设置 sql_mode

DATABASES = {
    "default": {
        "ENGINE": "django.db.backends.mysql",
        "NAME": "cw-uac",
        "USER": "root",
        # ...
        "OPTIONS": {
            "init_command": "SET sql_mode='STRICT_TRANS_TABLES'"  # 严格SQL检查
        },
    },
}

在项目中加入该配置并测试,达到了严格SQL检查效果。

sql_mode参数解释

sql_mode类型

sql_mode类型 释义
ONLY_FULL_GROUP_BY 对于GROUP BY聚合操作,如果在SELECT中的列,没有在GROUP BY中出现,那么将认为这个SQL是不合法的,因为列不在GROUP BY语句中。
STRICT_TRANS_TABLES 在该模式下,如果一个值不能插入到一个事务表中,则中断当前的操作,对非事务表不做任何限制。
对于InnoDB表,sql插入执行失败,会报错,全部回滚。
STRICT_ALL_TABLES 对于InnoDB表,和STRICT_TRANS_TABLES模式相同
对于MyISAM表,sql插入执行失败会保存错误发生之前修改的行,忽略剩下的行,并报错。
NO_ZERO_IN_DATE 在严格模式,不接受月或日部分为0的日期。如果使用IGNORE选项,我们为类似的日期插入'0000-00-00'。在非严格模式,可以接受该日期,但会生成警告。
NO_ZERO_DATE 在严格模式,不要将 '0000-00-00'做为合法日期。你仍然可以用IGNORE选项插入零日期。在非严格模式,可以接受该日期,但会生成警告。
ERROR_FOR_DIVISION_BY_ZERO 在严格模式,在INSERT或UPDATE过程中,如果被零除(或MOD(X,0)),则产生错误(否则为警告)。如果未给出该模式,被零除时MySQL返回NULL。如果用到INSERT IGNORE或UPDATE IGNORE中,MySQL生成被零除警告,但操作结果为NULL。
NO_AUTO_CREATE_USER 防止GRANT自动创建新用户,除非还指定了密码。
NO_ENGINE_SUBSTITUTION 如果需要的存储引擎被禁用或未编译,那么抛出错误。不设置此值时,用默认的存储引擎替代,并抛出一个异常。
NO_AUTO_VALUE_ON_ZERO 该值影响自增长列的插入。默认设置下,插入0或NULL代表生成下一个自增长值。如果用户希望插入的值为0,而该列又是自增长的,那么这个选项就有用了。
PIPES_AS_CONCAT 将"
ANSI_QUOTES 不能用双引号来引用字符串,因为它被解释为识别符

改变数据表的存储引擎

ALTER TABLE `alarm_alarmlevel` ENGINE = MyISAM;

sql_mode模式

column1 column2
ANSI 宽松模式,对插入数据进行校验,如果不符合定义类型或长度,对数据类型调整或截断保存,报warning警告。
TRADITIONAL 严格模式,当向mysql数据库插入数据时,进行数据的严格校验,保证错误数据不能插入,报error错误。用于事务时,会进行事务的回滚。
STRICT_TRANS_TABLES 严格模式,进行数据的严格校验,错误数据不能插入,报error错误。上面已经介绍。

查询和设置sql_mode

当前服务的sql_mode,修改会在重新MySQL服务后失效

SELECT @@GLOBAL.sql_mode;

SET GLOBAL sql_mode = ANSI;
SET @@GLOBAL.sql_mode = TRADITIONAL;

当前会话的sql_mode,修改会在关闭当前会话后失效

SHOW VARIABLES LIKE '%sql_mode%';
SELECT @@SESSION.sql_mode;

SET sql_mode = ANSI;
SET @@SESSION.sql_mode = ANSI;
SET SESSION sql_mode = ANSI;

设置ANSI模式:

SET sql_mode = ANSI;
SELECT @@SESSION.sql_mode;

MySQL数据库sql_mode导致varchar字段超过长度被截断插入

设置TRADITIONAL模式:

SET sql_mode = TRADITIONAL;
SELECT @@SESSION.sql_mode;

MySQL数据库sql_mode导致varchar字段超过长度被截断插入

设置STRICT_TRANS_TABLES模式:

SET sql_mode = STRICT_TRANS_TABLES;
SELECT @@SESSION.sql_mode;

MySQL数据库sql_mode导致varchar字段超过长度被截断插入

程序员灯塔
转载请注明原文链接:MySQL数据库sql_mode导致varchar字段超过长度被截断插入
喜欢 (0)