前言
最近在尝试 Python Web方面的开发尝试,框架使用的是Django,但是在读取数据库并页面展示的时候,出现了中文编码的问题。
问题
我们看下面一段代码,获取小说章节列表:
def main(request):
sql = "SELECT id,title FROM novel LIMIT 10;"
result = mysql.getAll(sql)
context = {'novel_list': result}
return render(request, 'novel_list.html', context)
页面输出:
{% for novel in novel_list %}
<a href="/chapter/{{novel.id}} "><li>{{ novel.title }}</li></a>
{% endfor %}
如果不加任何转换,页面上显示的中文将会是字节码。
解决
这里我们举一个稍微简单的例子,dict是数据库中查询出来的数据:
import json
dict = {'id': 1, 'title': b'\xe7\xac\xac\xe4\xb8\x80\xe7\xab\xa0 \xe7\xa7\xa6\xe7\xbe\xbd'}
dup = json.dumps(dict ,ensure_ascii=False)
print(dup)
Python2执行输出:
{"id": 1, "title": "第一章 秦羽"}
Python3执行报错:
TypeError: Object of type bytes is not JSON serializable
查询了半天,最终解决方案:
安装模块:
pip3 install numpy
最终代码:
import json
import numpy as np
class MyEncoder(json.JSONEncoder):
def default(self, obj):
if isinstance(obj, np.ndarray):
return obj.tolist()
elif isinstance(obj, bytes):
return str(obj, encoding='utf-8');
return json.JSONEncoder.default(self, obj)
dict = {'id': 1, 'title': b'\xe7\xac\xac\xe4\xb8\x80\xe7\xab\xa0 \xe7\xa7\xa6\xe7\xbe\xbd'}
dup = json.dumps(dict , cls=MyEncoder, ensure_ascii=False, indent=4)
print(dup)
你也可以for循环,然后单个转码:
sql = "SELECT id,title FROM novel LIMIT 10;"
result = mysql.getAll(sql)
for each in result:
ach['title'] = each['title'].decode('utf-8')
字符串通过编码转换为字节码,字节码通过解码转换为字符串:
str--->(encode)--->bytes,bytes--->(decode)--->str
decode和encode详解
- decode 解码,在已知字符串编码的情况下,转码为unicode ,比如 s.decode('utf-8'),结果为unicode
- encode 编码,在已有unicode的情况下,转码为其它编码,比如 u.encode('utf-8'),结果为utf-8
Web输出
JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。
Python3 中可以使用 json 模块来对 JSON 数据进行编解码,它包含了两个函数:
- json.dumps(): 对数据进行编码。
- json.loads(): 对数据进行解码。
def main(request):
sql = "SELECT id,title FROM novel LIMIT 10;"
result = mysql.getAll(sql)
# 转Json对象
result = json.dumps(result, cls=MyEncoder, ensure_ascii=False, indent=4)
# 转字典类型
result = json.loads(result)
context = {'novel_list': result}
return render(request, 'novel_list.html', context)
参数详解
json.dumps(result, cls=MyEncoder, ensure_ascii=False, indent=4)
indent
根据数据格式缩进显示,读起来更加清晰,indent的数值,代表缩进的位数。
ensure_ascii
如果无任何配置,或者说使用默认配置, 输出的会是中文的ASCII字符吗,而不是真正的中文。 这是因为json.dumps 序列化时对中文默认使用的ascii编码。
{
"id": 1,
"title": "\u7b2c\u4e00\u7ae0 \u79e6\u7fbd"
}
cls
dict类型的数据(存在中文),在python2中是可以转化的,但是在python3中存在序列化问题:
TypeError: Object of type bytes is not JSON serializable
小结
在Web开发中,这个问题真的很讨厌,中文编码来回转换,限于目前水平,只能这么解决,后续更新更优的方案。
更新
2019年2月13日晚,无意中又浏览到这篇文章,其实最终解决了问题,是自己把自己绕了一个大坑。由于系统读取数据用的是 PooledDB 数据库连接池,我们只需要把参数 use_unicode 设置为 False 使用系统编码即可。
学习案例
从零学Python,各种开发案例,不定期更新:
https://gitee.com/52itstyle/Python
https://gitee.com/52itstyle/Python/tree/master/Day06/novel/utils