最近跟数据部门对接时对方提供的kafka订阅服务，于是找了资料，写了个C#控制台程序消费了这个服务。
本文主要记录的内容是C#消费Kafka消息时选用kafka-net组件，遇到offset不是从0开始的情况时处理方法。
按照入门教程搭建测试环境并调试一切正常。
在生产环境中部署后遇到一直闪烁却无法消费的问题，看日志是可以连接成功的，后来跟生产方沟通后得知运维在部署kafka的时候设置了消息保留3天。
那么三天前的消息自动清除后，前面的offset在kafka里已经不存在了，这时候我们把offset设置成0时就会出现上述情况，那怎么获得起始的offset呢？
一、首先在本地安装jdk、Kafka和zookeeper。
1、jdk建议使用1.7以上版本。
2、下载安装并运行zookeeper (下载地址 http://zookeeper.apache.org/releases.html)
3、安装并运行Kafka （下载地址 http://kafka.apache.org/downloads.html）
如上安装步骤在车江毅的博客《.net windows Kafka 安装与使用入门(入门笔记)》中写的很详细，我就不重复了。
二、在kafka中创建topic、生产者、消费者，上述博客中有详细命令，这里跳过。
三、根据上述博客中推荐，选用了kafka-net。
1、生产者代码
private static void Produce(string broker, string topic,string message)
{
var options = new KafkaOptions(new Uri(broker));
var router = new BrokerRouter(options);
var client = new Producer(router);
var currentDatetime = DateTime.Now;
var key = currentDatetime.Second.ToString();
var events = new[] { new Message(message) };
client.SendMessageAsync(topic, events).Wait(1500);
Console.WriteLine("Produced: Key: {0}. Message: {1}", key, events[0].Value.ToUtf8String());
using (client) { }
}
//调用示例：
Produce("http://地址:端口", "TopicName", "Hello World");
2、消费者代码，上面都是为了搭建测试环境，这次的任务是消费其他组提供的kafka消息
private static void Consume(string broker, string topic)
{
Uri[] UriArr = Array.ConvertAll<string, Uri>(broker.Split(','), delegate (string s) { return new Uri(s); });
var options = new KafkaOptions(UriArr);
var router = new BrokerRouter(options);
var consumer = new Consumer(new ConsumerOptions(topic, router));
//实际生产环境中消费不是每次都从0 offset开始的，查了资料发现java可以设置自动参数配置从最小offset开始或者最大offset开始
//但kafka-net这个sdk中没有找到，所以就下面这段代码配置了offset的起始位置
Task<List<OffsetResponse>> offTask = consumer.GetTopicOffsetAsync(topic);
var offsetResponseList = offTask.Result;
var positionArr = new OffsetPosition[offsetResponseList.Count];
for (int i = 0; i < offsetResponseList.Count; i++)
{
//LogHelper.WriteLog(string.Format("获取到Kafka OffsetPosition信息 Partition:{0} maxOffset:{1} minOffset:{2}", offsetResponseList[i].PartitionId, offsetResponseList[i].Offsets[0], offsetResponseList[i].Offsets[1]));
positionArr[i] = new OffsetPosition(offsetResponseList[i].PartitionId, offsetResponseList[i].Offsets[1]);//这里Offsets[0]是最大值，我们从头消费用的最小值Offsets[1]
}
Console.WriteLine("开始执行");
//如果作业执行一段时间后重启，下面可以从数据库中读取后再配置开始读取的位置
/*
try
{
using (IDbConnection dbConn = SingleDataBase.DBFactory.OpenRead<MessageQueue>())
{
string sql = string.Format("SELECT [Partition], MAX(Offset)Offset FROM [表名] WITH(NOLOCK) WHERE topic='{0}' GROUP BY [Partition]", topic);
var r = dbConn.SqlList<OffsetPositionEntity>(sql);
if (r.Count > 0)
{
positionArr = Array.ConvertAll<OffsetPositionEntity, OffsetPosition>(r.ToArray(), delegate (OffsetPositionEntity p) { return new OffsetPosition(p.Partition, p.Offset + 1); });
}
}
}
catch
{
//读取上次获取位置失败，从头开始获取，可能会导致重复获取
//LogHelper.WriteLog("没有获取到上次截至节点，将从头开始获取");
}
*/
consumer.SetOffsetPosition(positionArr);
//Consume returns a blocking IEnumerable (ie: never ending stream)
foreach (var message in consumer.Consume())
{
try
{
string messageStr = message.Value.ToUtf8String();
Console.WriteLine(messageStr);
long r = 0;
/*这里已经删掉了写入数据库部分*/
//LogHelper.WriteLog(string.Format("Response: Partition {0},Offset {1} : {2} ,Insert : {3}", message.Meta.PartitionId, message.Meta.Offset, messageStr, r));
}
catch (Exception ex)
{
//LogHelper.WriteLog("消费Kafka消息保存到数据库时报错:" + ex.Message);
}
}
}
//调用示例：
Consume("http://100.162.136.70:9092,http://100.162.136.71:9092,http://100.162.136.72:9092", "YourTopicName");
以上代码中LogHelper.WriteLog部分用Console.WriteLine替换后可以直接输出到屏幕上，这里没有提供写日志相关方法。
这篇文章写出来，就是为了记录高亮显示的那部分片段，其他都是为了让文章尽可能的完整。
