本文詳細總結了python編碼。分享給大家供大家參考，具體如下：
【所謂unicode】
unicode是一種類似於符號集的抽象編碼，它只規定了符號的二進位代碼，卻沒有規定這個二進位代碼應該如何存儲。也就是它只是一種內部表示，不能直接保存。所以存儲時需要規定一種存儲形式，比如utf-8和utf-16等。理論上unicode是一種能夠容納全世界所有語言文字的編碼方案。（其他編碼格式不再多說）
【所謂GB碼】
GB就是「國標」的意思，即：中華人民共和國國家標準。GB碼是面向漢字的編碼，包括GB2312（GB2312-80），GBK，GB18030，表示範圍從小到大遞增，而且基本是向下兼容的。此外經常遇到一種叫做CP936的編碼，實際上可以大概看做是GBK。
【判斷編碼】
1、使用isinstance(s, str)來判斷一個字符串是否為一般字符串（str為ascii類型的字符串，utf-8、utf-16、GB2312、GBK等都是ascii類型的字符串）；
使用isinstance(s, unicode)來判斷一個字符串是否為unicode編碼形式的字符串（unicode編碼的字符串才是unicode類型的字符串）。
2、使用type()或者.__class__
在編碼正確的情況下：
例如：stra = "中", 則使用type(stra)的結果是<type 'str'>，表明為ascii類型字符串；
例如：strb = u"中", 則使用type(strb)的結果是<type 'unicode'>，表明為unicode類型字符串。
1
2
3
4
5
6
7
8
tmp_str = 'tmp_str'
print tmp_str.__class__
print type(tmp_str)
print type(tmp_str).__name__
tmp_str = u'tmp_str'
print tmp_str.__class__
print type(tmp_str)
print type(tmp_str).__name__
3、最好的辦法是使用chardet判斷，特別是在web相關的操作中，例如抓取html頁面內容時，頁面的charset標籤只是標示編碼，有時候不對，而且頁面內容中一些中文可能超出了標示編碼的範圍，此時用charset檢測最為方便準確。
（1）安裝辦法：下載chardet後，將解壓得到的chardet文件夾放在Python安裝目錄的\Lib\site-packages目錄下，在程序中使用import chardet即可。
（2）使用辦法1：檢測全部內容判斷編碼
1
2
3
4
5
6
import urllib2
import chardet
res = urllib2.urlopen('http://www.jb51.net')
res_cont = res.read()
res.close()
print chardet.detect(res_cont)
detect函數返回值為一個包含2個鍵值對的字典，第一個是檢測置信度，第二個就是檢測到的編碼形式。
（3）使用辦法2：檢測部分內容判斷編碼，提高速度
1
2
3
4
5
6
7
8
9
10
11
12
13
import urllib2
from chardet.universaldetector import UniversalDetector
res = urllib2.urlopen('http://www.jb51.net')
detector = UniversalDetector()
for line in res.readlines():
detector.feed(line)
if detector.done:
break
detector.close()
res.close()
print detector.result
【轉換編碼】
1、從具體的編碼（ISO-8859-1[ASCII碼]，utf-8，utf-16，GBK，GB2312等）轉換為unicode，直接使用unicode(s, charset)或者s.decode(charset)，其中charset為s的編碼（注意unicode在使用decode()時會出錯）；
1
2
3
4
5
6
def to_unicode(s, encoding):
if isinstance(s, unicode):
return s
else:
return unicode(s, encoding)
注意：這裡在decode()的時候，如果遇到非法字符（比如不標準的全形空格\xa3\xa0，或者\xa4\x57，真正的全形空格是\xa1\xa1），就會報錯。
解決辦法：採用'ignore'模式，即：stra.decode('...', 'ignore').encode('utf-8')。
解釋：decode的函數原型是decode([encoding],[errors='strict'])，可以用第二個參數控制錯誤處理的策略。
默認的參數就是strict，代表遇到非法字符時拋出異常；如果設置為ignore，則會忽略非法字符；如果設置為replace，則會用?取代非法字符；如果設置為xmlcharrefreplace，則使用XML的字符引用。
2、從unicode轉換為具體的編碼，也是直接用s.encode(charset)，其中s為unicode編碼，charset為具體的編碼（注意非unicode在使用encode()時會出錯）；
3、自然地，從一種具體編碼轉換為另一種具體編碼，就可以先decode成unicode再encode成最終編碼了。
【python命令行編碼（系統編碼）】
用python自帶的locale模塊來檢測命令行的默認編碼（也就是系統的編碼）和設置命令行編碼：
1
2
3
4
5
6
import locale
print locale.getdefaultlocale()
locale.setlocale(locale.LC_ALL, locale='zh_CN.GB2312')
print locale.getlocale()
表明當前系統的內部編碼是cp936，近似於GBK。實際上中文XP和WIN7的系統內部編碼都是cp936（GBK）。
【python代碼中的編碼】
1、python代碼中的字符串在未被指定編碼的情況下，默認編碼與代碼文件本身的編碼一致。舉個例子：str = '中文'這個字符串，如果是在utf8編碼的代碼文件中，該字符串就是utf8編碼；如果是在gb2312的文件中，該字符串就是gb2312編碼。那麼代碼文件本身的編碼怎麼知道呢？
（1）自己指定代碼文件的編碼：在代碼文件的頭部加上「#-*- coding:utf-8 -*-」來聲明該代碼文件為utf-8編碼。此時未被指定編碼的字符串的編碼都變成了utf-8。
（2）在沒有指定代碼文件的編碼時，創建代碼文件時使用的是python默認採用的編碼（一般來說是ascii碼，在windows中實際保存為cp936（GBK）編碼）。通過sys.getdefaultencoding()和sys.setdefaultencoding('...')來獲取和設置該默認編碼。
1
2
3
4
5
import sys
reload(sys)
print sys.getdefaultencoding()
sys.setdefaultencoding('utf-8')
print sys.getdefaultencoding()
結合（1）和（2）做個試驗：指定代碼文件編碼為utf-8時，用notepad++打開顯示的是utf-8無DOM編碼；未指定代碼文件編碼時，用notepad++打開顯示的是ANSI編碼（壓縮編碼，默認的保存編碼形式）。
（3）如何永久地將python默認採用的編碼設置為utf-8呢？有2種方法：
第一個方法<不推薦>：編輯site.py，修改setencoding()函數，強制設置為 utf-8；
第二個方法<推薦>：增加一個名為 sitecustomize.py的文件，存放在安裝目錄下的\Lib\site-packages目錄下
sitecustomize.py是在site.py被import執行的，因為 sys.setdefaultencoding()是在site.py的結尾處被刪除的，所以可以在 sitecustomize.py使用 sys.setdefaultencoding()。
2、python代碼中的字符串如果被指定了編碼，舉個例子：str = u'中文'，該字符串的編碼被指定為unicode（即python的內部編碼）。
（1）這裡有個誤區需要注意！假如在py文件中有如下代碼：
1
2
stra = u"中"
print stra.encode("gbk")
按上面說的stra是unicode形式，直接encode稱gbk編碼應該沒問題啊？但是實際執行時會報錯「UnicodeEncodeError: 'gbk' codec can't encode character u'\xd6' in position 0: illegal multibyte sequence」。
原因在於：python解釋器在導入python代碼文件並執行時，會先查看文件頭有沒有編碼聲明（例如#coding:gbk等）。如果發現聲明，會將文件中的字符串都先解釋成unicode的形式（這裡先用默認編碼gbk（cp936）將stra解碼成unicode編碼'd6d0'後保存），之後執行stra.encode('gbk')時，由於stra已經是unicode編碼且'd6d0'在gbk的編碼範圍內，所以編碼不會出現錯誤；如果文件頭沒有編碼聲明，則不會進行上述過程中的解碼操作（這裡就直接使用stra的unicode編碼'd6'），之後執行stra.encode('gbk')時，由於'd6'不在gbk的編碼範圍所以報錯。
（2）為避免這種類型的錯誤，最好在代碼文件頭上聲明編碼，或者麻煩點每次使用setdefaultencoding()。
（3）總的來說就是unicode是python解釋器的內碼，所有代碼文件在導入並執行時，python解釋器會先將字符串使用你指定的編碼形式解碼成unicode，然後再進行各種操作。所以不管是對字符串的操作，還是正則表達式，還是讀寫文件等等最好都通過unicode來進行。
【python中其他編碼】
文件系統的編碼：sys.getfilesystemencoding()
終端的輸入編碼：sys.stdin.encoding
終端的輸出編碼：sys.stdout.encoding
更多關於Python相關內容感興趣的讀者可查看本站專題：《Python編碼操作技巧總結》、《Python圖片操作技巧總結》、《Python數據結構與算法教程》、《Python Socket編程技巧總結》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
python學習資料交流群：516107834