我们可以在Linux上使用loopback接口来模拟两个阶段的路由抉择,第一个阶段是走一遍PRE/POST ROUTING流程,将NAT实施完毕,第二阶段完成单纯路由转发。然而需要在Netfilter上挂钩子,以便取消关联在skb上的路由项,并且取消关联在skb上的conntrack信息,因为在第二阶段的单纯路由流程里面,我不希望再有什么基于conntrack的动作,因此如果需要有基于conntrack的操作,务必在第一阶段内和NAT一并完成。
回过头来看loopback的实现,不是那么完美,因为像在Netfilter上挂载钩子完成的这种事完全可以在虚拟网卡的xmit操作中完成,因此有必要重新写一个虚拟网卡,之所以最终还是考虑重新写,是因为这个模块超级简单,基本可以照搬loopback.c的实现,所不同的是xmit的操作:

static netdev_tx_t nvi_xmit(struct sk_buff *skb,
                                 struct net_device *dev)
{
    int len;
    //注意,我把原始的数据包入接口写在了skb的mark中了,为何能这么做呢?因为...
    struct net_device * real_dev = dev_get_by_index(dev_net(dev), skb->mark);
    skb_orphan(skb);
    skb->protocol = eth_type_trans(skb, real_dev);
    //取消关联的路由项,以便可以在ip_input的时候重新policy routing
    skb_dst_drop(skb);
    //取消conntrack,因为它的任务在第一阶段已经完成了
    skb->nfct = &nf_conntrack_untracked.ct_general;
    skb->nfctinfo = IP_CT_NEW;
    nf_conntrack_get(skb->nfct);

        len = skb->len;
        if (likely(netif_rx(skb) == NET_RX_SUCCESS)) {
        ...//做点什么好呢?统计?
    } else {
        ...//...
    }
    return NETDEV_TX_OK;
}

对NVI接口的注册也非常简单:
dev = alloc_netdev(0, "nvi", nvi_setup);
为何可以使用skb的mark来保存入接口index呢?实际上在32位的机器上它完全可以保存原始入网卡dev的地址,强转成net_device类型指针即可。我并不是一开始就直接把入网卡的index保存在mark中了,因为可能Netfilter钩子还要用这个mark,我也没有使用mark的掩码掩去一些位来保存index,因为不知情者可能会误用。我采用的方式是在“确认不可能有Netfilter钩子使用mark的时候再将其覆盖成入网卡的index,那么何时合适呢?精通Netfilter的都知道,在POSTROUTING的最后做这件事比较合适,因此我就把这个HOOK安置于POSTROUTING的nf_confirm之后。是否会有流控用到mark我不管,毕竟流控是在物理网卡上做的,和第一轮的路由无关。然而问题是,到了POSTROUTING的时候我还能取到原始的入网卡的index吗?Oh,NO!:
int ip_output(struct sk_buff *skb)
{
    struct net_device *dev = skb_dst(skb)->dev;

    IP_UPD_PO_STATS(dev_net(dev), IPSTATS_MIB_OUT, skb->len);
    //在此处,POSTROUTING前替换了skb的dev...
    skb->dev = dev;
    skb->protocol = htons(ETH_P_IP);

    return NF_HOOK_COND(PF_INET, NF_INET_POST_ROUTING, skb, NULL, dev,
                ip_finish_output,
                !(IPCB(skb)->flags & IPSKB_REROUTED));
}
所以,到了POSTROUTING,就再也取不到原始网卡的index了!那么变通的办法就是将Linux协议栈的这段代码改了:
int ip_output(struct sk_buff *skb)
{
    struct net_device *orig_dev
    struct net_device *dev = skb_dst(skb)->dev;

    IP_UPD_PO_STATS(dev_net(dev), IPSTATS_MIB_OUT, skb->len);
    //保存原始入网卡的dev(反正都是forward包...)
    orig_dev = skb->dev
    skb->dev = dev;
    skb->protocol = htons(ETH_P_IP);
    //在HOOK调用的时候传入indev
    if (orig_dev && orig_dev->flags & IFF_LOOPBACK) {
        orig_dev = NULL;
    }
    return NF_HOOK_COND(PF_INET, NF_INET_POST_ROUTING, skb, orig_dev, dev,
                ip_finish_output,
                !(IPCB(skb)->flags & IPSKB_REROUTED));
}
我个人觉得,对于将Linux作为路由BOX来用的人来讲,对于FORWARDING的数据包,在POSTROUTING的时候能取到数据包从哪个网卡进入,可以实施更多的控制策略,这难道不更好吗?好吧,如果非要说这样改不好,我还有更加标准的做法,那就是在conntrack结构体中注册一个新的extend,其实就是一个结构体,将原始的入网卡作为一个字段放进去,在NVI接口的xmit中,conntrack重置为nf_conntrack_untracked之前,取出这个网卡,调用eth_type_trans接口即可,这样好了吧,我没有触动Linux kernel的主协议栈,还是基于Netfilter来做扩展!事实上,Netfilter的扩展能力是无限的!