Skip to content

python中文字符串编码处理

1。字符串还是字节串?

我认为,python的字符串只能说是字节串,你甚至可以在里面存放一张图片或者一个二进制可执行文件

import types
f=open(‘d:\\hello.jpg’,'r’)
pic=f.read()
print type(pic)==types.StringType
print pic

如果图片存在,这段代码会显示True和一串乱码。显然所谓字符串只是一串字节数据。

2。’ ‘ 和 u’ ‘

python的字符串有’ ‘和u’ ‘两种,前者是一个字节串,后者是经过unicode编码的。unicode是一种用两个字节表示每一个字符的编码方式,具体不介绍了。可以这样测试:

>>>str1=’你好’
>>>str1
‘\xc4\xe3\xba\xc3′ 得到一个字节串,我的机子是xp系统的,默认编码是cp936,所以这是“你好”的cp936编码
>>>str2=str1.decode(‘cp936′)
>>>str2
u’\u4f60\u597d’ 转化为unicode编码,str2是一个unicode字符串

str1和str2都是一个字符串,不过编码的方式不一样,我们可以看出他们都占用4个字节,不过真实长度却一样。

>>>len(str1)
4
>>>len(str2)
2

str1只是一个普通的字节串,python并不知道他使用的是什么编码,所以长度等于它占用的字节数。而str2是一个经过unicode编码的字符串,我们使用字符串对象的方法decode告诉系统’\xc4\xe3\xba\xc3′是一个cp936编码串,然后系统会把它转化为 unicode编码串u’\u4f60\u597d’,系统就可以判断出这是一个含有两个字符的字符串。反过来,我们可以使用encode方法把 unicode字符串编码为普通字符串。

>>>str2.encode(‘gbk’)
‘\xc4\xe3\xba\xc3′

惊喜的是,我们其实很容易就可以得到一个中文unicode字符串。我们测试一下:

>>>mycity=u’佛山’
>>>mycity
u’\u4f5d\u5c71′

看到吗?python已经为我们完成了转换,mycity已经是unicode字符串。

http://www.pkphp.com/(1)python (5)python 编码 中文(4)php 中文字符串 轉換為英文(1)python 处理中文字符串(1)python 中文编码(2)python 字符串 字节数(1)python 字符串 详解(1)中文 处理(1)Python处理字符<>(1)中文字符串(2)python u吗(1)python 字符从长度限制(1)\u 字符串(1)字符编码(2)

Share in Google Reader Share in Google Reader 分享到 FriendFeed 分享到 FriendFeed 推荐到豆瓣 推荐到豆瓣 分享到 Twitter 分享到 Twitter

Post a Comment

Your email is never published nor shared. Required fields are marked *
*
*

无觅相关文章插件,快速提升流量