建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
Python 中編碼問(wèn)題，一直是很多 Python 開(kāi)發(fā)者的噩夢(mèng)，盡管你是工作多年的 Python 開(kāi)發(fā)者，也肯定會(huì)經(jīng)常遇到令人神煩的編碼問(wèn)題，好不容易花了半天搞明白了。
平樂(lè)網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、APP開(kāi)發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)公司等網(wǎng)站項(xiàng)目制作，到程序開(kāi)發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)從2013年成立到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來(lái)保證我們的工作的順利進(jìn)行。專(zhuān)注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。
一段時(shí)間后，又全都忘光光了，一臉懵逼的你又開(kāi)始你找各種博客、帖子，從頭搞清楚什么是編碼?什么是 unicode?它和 ASCII 有什么區(qū)別?為什么 decode encode 老是報(bào)錯(cuò)?python2 里和 python3 的字符串類(lèi)型怎么都不一樣，怎么對(duì)應(yīng)起來(lái)?如何檢測(cè)編碼格式?
反反復(fù)復(fù)，這個(gè)過(guò)程真是太痛苦了。
今天我把大家在 Python 上會(huì)遇到的一些編碼問(wèn)題都講清楚了，以后你可以不用再 Google，收藏這篇文章就行。
1. Python 3 中 str 與 bytes
在 Python3中，字符串有兩種類(lèi)型 ，str 和 bytes。
今天就來(lái)說(shuō)一說(shuō)這二者的區(qū)別：
- unicode string(str 類(lèi)型)：以 Unicode code points 形式存儲(chǔ)，人類(lèi)認(rèn)識(shí)的形式
- byte string(bytes 類(lèi)型)：以 byte 形式存儲(chǔ)，機(jī)器認(rèn)識(shí)的形式
在 Python 3 中你定義的所有字符串，都是 unicode string類(lèi)型，使用 type 和 isinstance 可以判別：
- # python3
- >>> str_obj = "你好"
- >>>
- >>> type(str_obj)
- >>>
- >>> isinstance("你好", str)
- True
- >>>
- >>> isinstance("你好", bytes)
- False
- >>>
而 bytes 是一個(gè)二進(jìn)制序列對(duì)象，你只要你在定義字符串時(shí)前面加一個(gè) b，就表示你要定義一個(gè) bytes 類(lèi)型的字符串對(duì)象。
- # python3
- >>> byte_obj = b"Hello World!"
- >>> type(byte_obj)
- >>>
- >>> isinstance(byte_obj, str)
- False
- >>>
- >>> isinstance(byte_obj, bytes)
- True
- >>>
但是在定義中文字符串時(shí)，你就不能直接在前面加 b 了，而應(yīng)該使用 encode 轉(zhuǎn)一下。
- >>> byte_obj=b"你好"
- File "
", line 1 - SyntaxError: bytes can only contain ASCII literal characters.
- >>>
- >>> str_obj="你好"
- >>>
- >>> str_obj.encode("utf-8")
- b'\xe4\xbd\xa0\xe5\xa5\xbd'
- >>>
2. Python 2 中 str 與 unicode
而在 Python2 中，字符串的類(lèi)型又與 Python3 不一樣，需要仔細(xì)區(qū)分。
在 Python2 里，字符串也只有兩種類(lèi)型，unicode 和 str 。
只有 unicode object 和 非unicode object(其實(shí)應(yīng)該叫 str object) 的區(qū)別：
- unicode string(unicode類(lèi)型)：以 Unicode code points 形式存儲(chǔ)，人類(lèi)認(rèn)識(shí)的形式
- byte string(str 類(lèi)型)：以 byte 形式存儲(chǔ)，機(jī)器認(rèn)識(shí)的形式
當(dāng)我們直接使用雙引號(hào)或單引號(hào)包含字符的方式來(lái)定義字符串時(shí)，就是 str 字符串對(duì)象，比如這樣：
- # python2
- >>> str_obj="你好"
- >>>
- >>> type(str_obj)
- >>>
- >>> isinstance(str_obj, bytes)
- True
- >>> isinstance(str_obj, str)
- True
- >>>
而當(dāng)我們?cè)陔p引號(hào)或單引號(hào)前面加個(gè) u，就表明我們定義的是 unicode 字符串對(duì)象，比如這樣：
- # python2
- >>> unicode_obj = u"你好"
- >>>
- >>> type(unicode_obj)
- >>>
- >>> isinstance(unicode_obj, bytes)
- False
- >>> isinstance(unicode_obj, str)
- False
- >>>
3. 如何檢測(cè)對(duì)象的編碼
所有的字符，在 unicode 字符集中都有對(duì)應(yīng)的編碼值(英文叫做：code point)。
而把這些編碼值按照一定的規(guī)則保存成二進(jìn)制字節(jié)碼，就是我們說(shuō)的編碼方式，常見(jiàn)的有：UTF-8，GB2312 等。
也就是說(shuō)，當(dāng)我們要將內(nèi)存中的字符串持久化到硬盤(pán)中的時(shí)候，都要指定編碼方法，而反過(guò)來(lái)，讀取的時(shí)候，也要指定正確的編碼方法(這個(gè)過(guò)程叫解碼)，不然會(huì)出現(xiàn)亂碼。
那問(wèn)題就來(lái)了，當(dāng)我們知道了其對(duì)應(yīng)的編碼方法，我們就可以正常解碼，但并不是所有時(shí)候我們都能知道應(yīng)該用什么編碼方式去解碼?
這時(shí)候就要介紹到一個(gè) python 的庫(kù) -- chardet ，使用它之前 需要先安裝：
- python3 -m pip install chardet
chardet 有一個(gè) detect 方法，可以 預(yù)測(cè)其其編碼格式：
- >>> import chardet
- >>> chardet.detect('微信公眾號(hào)：Python編程時(shí)光'.encode('gbk'))
- {'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}
為什么說(shuō)是預(yù)測(cè)呢，通過(guò)上面的輸出來(lái)看，你會(huì)看到有一個(gè) confidence 字段，其表示預(yù)測(cè)的可信度，或者說(shuō)成功率。
但是使用它時(shí)，若你的字符數(shù)較少，就有可能 “誤診”)，比如只有 中文 兩個(gè)字，就像下面這樣，我們是 使用 gbk 編碼的，使用 chardet 卻識(shí)別成 KOI8-R 編碼。
- >>> str_obj = "中文"
- >>> byte_obj = bytes(a, encoding='gbk') # 先得到一個(gè) gbk 編碼的 bytes
- >>>
- >>> chardet.detect(byte_obj)
- {'encoding': 'KOI8-R', 'confidence': 0.682639754276994, 'language': 'Russian'}
- >>>
- >>> strstr_obj2 = str(byte_obj, encoding='KOI8-R')
- >>> str_obj2
- 'жпнд'
所以為了編碼診斷的準(zhǔn)確，要盡量使用足夠多的字符。
chardet 支持多國(guó)的語(yǔ)言，從官方文檔中可以看到支持如下這些語(yǔ)言
(https://chardet.readthedocs.io/en/latest/supported-encodings.html)。
4. 編碼與解碼的區(qū)別
編碼和解碼，其實(shí)就是 str 與 bytes 的相互轉(zhuǎn)化的過(guò)程(Python 2 已經(jīng)遠(yuǎn)去，這里以及后面都只用 Python 3 舉例)
- 編碼：encode 方法，把字符串對(duì)象轉(zhuǎn)化為二進(jìn)制字節(jié)序列
- 解碼：decode 方法，把二進(jìn)制字節(jié)序列轉(zhuǎn)化為字符串對(duì)象
Unicode & Character Encodings in Python
那么假如我們真知道了其編碼格式，如何來(lái)轉(zhuǎn)成 unicode 呢?
有兩種方法：
第一種是，直接使用 decode 方法
- >>> byte_obj.decode('gbk')
- '中文'
- >>>
第二種是，使用 str 類(lèi)來(lái)轉(zhuǎn)
- >>> strstr_obj = str(byte_obj, encoding='gbk')
- >>> str_obj
- '中文'
- >>>
5. 如何設(shè)置文件編碼
在 Python 2 中，默認(rèn)使用的是 ASCII 編碼來(lái)讀取的，因此，我們?cè)谑褂?Python 2 的時(shí)候，如果你的 python 文件里有中文，運(yùn)行是會(huì)報(bào)錯(cuò)的。
- SyntaxError: Non-ASCII character '\xe4' in file demo.py
原因就是 ASCII 編碼表太小，無(wú)法解釋中文。
而在 Python 3 中，默認(rèn)使用的是 uft-8 來(lái)讀取，所以省了不少的事。
對(duì)于這個(gè)問(wèn)題，通常解決方法有兩種：
(1) 第一種方法
在 python2 中，可以使用在頭部指定
可以這樣寫(xiě)，雖然很好看
- # -*- coding: utf-8 -*-
但這樣寫(xiě)太麻煩了，我通常使用下面兩種寫(xiě)法
- # coding:utf-8
- # coding=utf-8
(2) 第二種方法
- import sys
- reload(sys)
- sys.setdefaultencoding('utf-8')
這里在調(diào)用sys.setdefaultencoding(‘utf-8’) 設(shè)置默認(rèn)的解碼方式之前，執(zhí)行了reload(sys)，這是必須的，因?yàn)閜ython在加載完sys之后，會(huì)刪除 sys.setdefaultencoding 這個(gè)方法，我們需要重新載入sys，才能調(diào)用 sys.setdefaultencoding 這個(gè)方法。
以上就是我今天總結(jié)的 Python 開(kāi)者最關(guān)心的編碼問(wèn)題，而對(duì)于編碼的基礎(chǔ)知識(shí)，仍然需要你提前借助搜索引擎來(lái)學(xué)習(xí)。
本文題目：有了這篇文章，Python中的編碼不再是噩夢(mèng)
地址分享：http://www.dlmjj.cn/article/dpiohsc.html
