关于Protobuf

    protobuf是google的一个开源序列化框架，基于二进制数据交换格式，兼顾了效率和灵活性。详见http://code.google.com/p/protobuf/。

    本文假定读者对protobuf已经有了初步接触，故略过一些基本和细节的描述，着重于介绍protobuf在笔者项目中的应用思路。因项目主要编程语言 是c++，所以本文的示例着眼于如何在c++中借助protobuf简化一些通用模块的处理。对于其它语言（java，python等），如果语言本身没 有更好用的特性或者更方便的库的话，也可采取类似做法。




不仅仅是网络消息序列化

可以将各种形式的外部数据以非常易用的方式存取，通过最自然的本地语言对象进行操作（在本文中是c++）。借助protobuf框架的以下特性，构建protobuf生态圈将会是一个轻松愉快的过程：



1.代码生成器

    protobuf提供了自定义代码生成器的支持——“代码生成器”远没有它听起来那么复杂，相反，得益于protobuf合理的架构设计，笔者项目中的各类生成器一般只有几百行代码。

    protobuf的代码生成器可以跟静态语言的编译器进行类比，编译器：

    源码 ---> （编译器前端） ---> 中间代码 ---> （编译器后端） ---> 机器码

    而protobuf的代码生成过程如下：

    proto文件 ---> （解析器） --->  本地语言对象模型 ---> （代码生成器） ---> 本地语言源码

    我们要做的仅仅是自定义代码生成后端，只需关心proto文件中定义的对象模型即可，复杂的proto文件解析由protoc内置的解析器完成。



2.反射机制

    protobuf提供了反射机制（包括c++的版本），以实现对运行期对象进行内省。相关示例代码见http://code.google.com/apis/protocolbuffers/docs/reference/cpp/google.protobuf.message.html。

    借助反射，可以完成一些在传统c++设计领域中难以完成的事情，比如对一个对象的所有属性进行迭代，比如根据属性的名字进行存取等等。其实现也相当高效，例如如下代码：

Message* message = ...;  
const Reflection* reflection = ...;  
const FieldDescriptor* field = ...;  
reflection->SetInt32(message, field);
Message* message = ...;  
const Reflection* reflection = ...;  
const FieldDescriptor* field = ...;  
reflection->SetInt32(message, field);

最后一行对于message相应属性的定位是直接通过地址偏移来实现的（有点hack的意味），其偏移值通过代码生成器生成并保存在FieldDescriptor中。



案例一：利用Protobuf实现数据库粘合层

   



动机：

    由于语言特性的原因，c++中对数据库的操作一直是个比较繁琐的过程。以mysql为例，官方的c api远不适合不加封装直接使用，mysql++库的Specialized SQL Structures尚可，但也还不够便利，比如没有has语义使得只update一个结构的其中几个字段的写法比较冗长，比如表的字段有增删需要手动维护c++中相应的结构等等。

    利用protobuf，完全可以实现更易用而强大的数据库粘合层。

   



简单示例：

    以下是笔者项目中数据库粘合层的用法示例（为了便于说明，做了些简化，没有演示索引、字符集、存储引擎等功能）。

    首先，定义proto文件。

test_data.proto：

message TestData  
{  
    required int32 id = 1;  
    optional string name = 2;  
}
message TestData  
{  
    required int32 id = 1;  
    optional string name = 2;  
}

这样，自定义的代码生成器会生成以下sql（在笔者的项目中，这一步是自动完成的，每当有需要导出sql的proto文件，则编译时自动生成相应sql并执行，相应的DROP语句是版本降级时用的）：

CREATE TABLE TESTDATA(  
    id INT NOT NULL,  
    name VARCHAR);  
DROP TABLE TESTDATA;
CREATE TABLE TESTDATA(  
    id INT NOT NULL,  
    name VARCHAR);  
DROP TABLE TESTDATA;

  在c++中，就可以用以下方式操作：

Query query = database->Query();  
TestData data;    // proto文件中定义的对象  
data.set_id(1);  
data.set_name("Snake");  
if (!query.Insert(data)) { // INSERT INTO TESTDATA (id, name) VALUES(1, "Snake");  
    ....  
}  
data.set_name("Raiden");  
TestData where;  
where.set_id(1);  
if (!query.Update(data, where)) { // 通过同类型对象来描述where子句， 相当于where id=1  
    ...  
}  
std::vector<TestData> messages;  
query.Select(messages,     // 把结果集储存到messages中，接受std顺序容器， 也接受单个message  
             Columns("id")("name"),   // 指定column， SELECT * 可用AllColumns()  
             Where("id") == 1 && Where("name") == "Raiden",    // 另一种形式的WHERE子句  
             OrderBy("id").Desc(),   // ORDER BY ID DESC  
             Limit(10));   // LIMIT 10， 仅作为示例  
for (size_i = 0; i < messages.size(); ++i) {  
    std::cout << messages[i].DebugString();  
}  
query.Delete<TestData>();    // DELETE FROM TESTDATA， 同样支持两种形式的WHERE
Query query = database->Query();  
TestData data;    // proto文件中定义的对象  
data.set_id(1);  
data.set_name("Snake");  
if (!query.Insert(data)) { // INSERT INTO TESTDATA (id, name) VALUES(1, "Snake");  
    ....  
}  
data.set_name("Raiden");  
TestData where;  
where.set_id(1);  
if (!query.Update(data, where)) { // 通过同类型对象来描述where子句， 相当于where id=1  
    ...  
}  
std::vector<TestData> messages;  
query.Select(messages,     // 把结果集储存到messages中，接受std顺序容器， 也接受单个message  
             Columns("id")("name"),   // 指定column， SELECT * 可用AllColumns()  
             Where("id") == 1 && Where("name") == "Raiden",    // 另一种形式的WHERE子句  
             OrderBy("id").Desc(),   // ORDER BY ID DESC  
             Limit(10));   // LIMIT 10， 仅作为示例  
for (size_i = 0; i < messages.size(); ++i) {  
    std::cout << messages[i].DebugString();  
}  
query.Delete<TestData>();    // DELETE FROM TESTDATA， 同样支持两种形式的WHERE

以上只是基本用法示例。在笔者项目中实现的一些扩展功能还有（主要是利用protobuf的option机制实现）：

    1、导出控制。可以灵活设置单个proto文件、单个消息、单个字段是否需要导出。

    2、版本号控制。可以指明某个字段的版本号，自动化生成相应脚本，方便运营时升级/降级。

    4、对复杂结构的支持。原生数据类型基本上都可以跟sql中的数据类型一一对应，对于repeated字段和子message，采用blob类型存储其序列化后的数据。

    5、数据库相应选项声明。比如设置表索引、所用引擎、字符集、字段长度、auto_increment等等。

    6、增量update。可以自动比较message与上次update的差异，只update有改动的字段。

   

    考虑如下案例：给原有的数据库表增加一个字段，读写，发送给其它网络主机进行处理。采用最原始的纯手工方式需要经历以下步骤：

    1、手动写alter table并执行；

    2、给c++中相应结构增加字段；

    3、修改insert，select，update等等涉及该字段的sql；

    4、修改相关网络同步的消息代码，增加此字段的同步；

    很快，涉及数据库的改动成为了bug滋生的温床。

    再看看前述方案，比如需要给TestData增加一新字段new_column，只需要做这么一件事，很好的体现了SPOT原则：

message TestData  
{  
    required int32 id = 1;  
    optional string name = 2;  
    optional float new_column = 3 [(sql.column_version) = "1.0.1"];  
}
message TestData  
{  
    required int32 id = 1;  
    optional string name = 2;  
    optional float new_column = 3 [(sql.column_version) = "1.0.1"];  
}

new_column 为新增字段，其后跟随的选项描述了其版本号。不用再做其它操作——alter table的sql语句被自动生成并执行，update、insert、select等调用自动兼容（内部实现是通过反射机制来拼接sql语句的），结构 天生为网络数据交换而设计，所以不用改动网络同步相关代码，也不用操心版本不匹配的问题。Perfect！

 

 

              ...待续，下篇将介绍protobuf与lua结合、用protobuf进行配置文件解析等方案。