c语言支持的字符编码


多字节字符编码:用一个字节表示数字、字母,用多个字节表示其它字符(汉字两个字节)。字符长度定义:一个字节为一个字符长度。


宽字节字符编码(UNICODE):全部用两个字节表示字符。字符长度定义:两个字节为一个字符长度。


c语言默认的字符编码方式为多字节字符编码(单双字节混合表示)


宽字节字符定义方式: 


//字符


//字符串



TCHAR


为了程序中方便的支持Unicode和多字节字符等,使用宏TCHAR定义字符和字符串。根据_UNICODE宏开关,会将TCHAR编译成不同类型的字符,


在<tchar.h>中有如下定义


#ifndef _UNICODE			//如果定义了UNICODE
	typedef char TCHAR		//定义TCHAR为char
#define _T(x) x				//使用宏_T方便定义字符
#else						//否则
	typedef wchar_t TCHAR	//定义TCHAR为wchar_t
#define _T(x) L##x
#endif

使用时需要包含<tchar.h>头文件,使用_UNICODE宏开关来控制字符类型


字符定义方式:


#define _UNICODE


#include <tchar.h>


TCHAR *pszText = _T("ABCD");


这样字符就会由_UNICODE宏控制编译为多字节还是宽字节


Win32程序与字符编码


Win32的每个API对多字节字符和UNICODE分别有不同的版本


例如:MessageBox(),MessageBoxA(),MessageBoxW()


MessageBox()为宏,由UNICODE控制被编译为MessageBoxA()还是MessageBoxW()


Win32中使用TEXT代替_T()定义字符,例如


TCHAR* pszText = TEXT("ABCD");


字符转换

函数介绍


WideCharToMultiByte



函数功能:该函数映射一个unicode字符串到一个多 字节字符串。



函数原型:



int WideCharToMultiByte(



CodePage, //指定执行转换的 代码页



dwFlags, //允许你进行额外的控制,它会影响使用了读音符号(比如重音)的字符



lpWideCharStr, //指定要转换为宽字节字符串的 缓冲区



cchWideChar, //指定由参数lpWideCharStr指向的缓冲区的 字符个数



lpMultiByteStr, //指向接收被转换字符串的缓冲区



cchMultiByte, //指定由参数lpMultiByteStr指向的 缓冲区最大值



lpDefaultChar, //遇到一个不能转换的宽字符,函数便会使用pDefaultChar参数指向的字符



pfUsedDefaultChar //至少有一个字符不能转换为其多字节形式,函数就会把这个变量设为TRUE



);



参数:



CodePage:指定执行转换的 代码页,这个参数可以为系统已安装或有效的任何代码页所给定的值。你也可以指定其为下面的任意一值:



CP_ACP:ANSI代码页;CP_MACCP:Macintosh代码页;CP_OEMCP:OEM代码页;



CP_SYMBOL:符号代码页(42);CP_THREAD_ACP:当前线程ANSI代码页;



CP_UTF7:使用UTF-7转换;CP_UTF8:使用UTF-8转换。





MultiByteToWideChar



函数功能:该函数映射一个字符串到一个 宽字符(unicode)的字符串。由该函数映射的 字符串没必要是多 字节字符组。



函数原型:



int MultiByteToWideChar( 
  
 
  

    UINT CodePage, 
  
 
  

    DWORD dwFlags, 
  
 
  

    LPCSTR lpMultiByteStr, 
  
 
  

    int cchMultiByte, 
  
 
  

    LPWSTR lpWideCharStr, 
  
 
  

    int cchWideChar 
  
 
  

    );



参数说明



CodePage:指定执行转换的 字符集,这个参数可以为系统已安装或有效的任何字符集所给定的值。你也可以指定其为下面的任意一值:



CP_ACP:ANSI字符集;CP_MACCP:Macintosh 代码页;CP_OEMCP:OEM代码页;



CP_SYMBOL:符号字符集(42);CP_THREAD_ACP:当前线程ANSI代码页;



CP_UTF7:使用UTF-7转换;CP_UTF8:使用UTF-8转换。



dwFlags:一组位标记用以指出是否未转换成预作或 宽字符(若组合形式存在),是否使用象形文字替代 控制字符,以及如何处理无效字符。你可以指定下面是标记 常量的组合,含义如下:



MB_PRECOMPOSED:通常使用预作 字符——就是说,由一个基本字符和一个非空字符组成的字符只有一个单一的字符值。这是缺省的转换选择。不能与



MB_COMPOSITE值一起使用。



MB_COMPOSITE:通常使用 组合字符——就是说,由一个基本字符和一个非空字符组成的字符分别有不同的字符值。不能与MB_PRECOMPOSED值一起使用。



MB_ERR_INVALID_CHARS:如果函数遇到无效的输入字符,它将运行失败,且GetLastErro返回ERROR_NO_UNICODE_TRANSLATION值。



MB_USEGLYPHCHARS:使用象形文字替代 控制字符



组合字符由一个基础字符和一个非空字符构成,每一个都有不同的字符值。每个预作 字符都有单一的字符值给基础/非空字符的组成。在字符è中,e就是基础字符,而重音符标记就是非空字符。



函数的缺省动作是转换成预作的形式。如果预作的形式不存在,函数将尝试转换成组合形式。



标记MB_PRECOMPOSED和MB_COMPOSITE是互斥的,而标记MB_USEGLYPHCHARS和MB_ERR_INVALID_CHARS则不管其它标记如何都可以设置。



lpMultiByteStr:指向将被转换 字符串的字符。



cchMultiByte:指定由参数lpMultiByteStr指向的字符串中 字节的个数。如果lpMultiByteStr指定的字符串以空字符终止,可以设置为-1(如果字符串不是以空字符中止,设置为-1可能失败,可能成功),此参数设置为0函数将失败。



lpWideCharStr:指向接收被转换字符串的 缓冲区



cchWideChar:指定由参数lpWideCharStr指向的缓冲区的宽字符个数。若此值为零,函数返回缓冲区所必需的 宽字符数,在这种情况下,lpWideCharStr中的缓冲区不被使用。



使用方法



由于转换前不知道转换后的字符长度,无法定义合适大小的变量存放转换后的字符,所以使用预转换的方法。



1. 将要转换的字符串传递给参数,接收缓冲置为缺省,接收缓冲大小为0,从返回值中获得转换后的字符数。(预转换)



2. 根据返回的字符数分配空间



3. 再次调用转换函数,并将分配的空间传递给转换函数,得到结果。



代码示例



//宽字节字符转换为多字节字符
BOOL CStringToChar(const CString &str, CHAR *pBuf, int nBufSize)
{
	//注意:以下n和len的值大小不同,n是按字符计算的,len是按字节计算的
	ASSERT(pBuf != NULL);
	int n = str.GetLength();
	int len = WideCharToMultiByte(CP_ACP,0,str,n,NULL,0,NULL,NULL);

	if (nBufSize - 1 < len)
	{
		TRACE(_T("CString转换成Char失败,原因:使用的buffer大小不够!"));
		return FALSE;
	}
	//宽字节编码转换成多字节编码
	WideCharToMultiByte(CP_ACP, 0, str, n, pBuf, len, NULL, NULL);
	pBuf[len] = '\0';   //多字节字符以'\0'结束

	return TRUE;
}





//多字节字符转换为宽字节字符
BOOL CharToCString(CHAR *pBuf, CString &str)
{
	ASSERT(pBuf != NULL);
	int clen = strlen(pBuf);
	int len = MultiByteToWideChar(CP_ACP, 0, pBuf, clen, NULL, 0);
	TCHAR *pTbuf = new TCHAR[len + 1];
	if (pBuf == NULL)
	{
		TRACE0("CCommonTool::CharToCString函数中动态申请内存失败!");
		return FALSE;
	}
	//实现多字节编码转换成宽字节编码
	MultiByteToWideChar(CP_ACP, 0, pBuf, clen, pTbuf, len);
	pTbuf[len] = '\0';

	//str.Append(pTbuf);
	str = pTbuf;
	//释放动态对内存
	delete pTbuf;
	return TRUE;
}