Linux-2.6.25 TCPIP函数调用大致流程

学习目的,随手笔记。函数和文字说明会不断补充更新。


Changelog

2008.10.08 最近找工作忙。暂时缓缓


插口层

系统调用

send

sys_send

sys_sendto

sendto

sys_sendto

sock_sendmsg

sendmsg

sys_sendmsg

sock_sendmsg

write

sys_write

vfs_write

file->f_op->write = do_sync_write

filp->f_op->aio_write = sock_aio_write

do_sock_write

__sock_sendmsg

writev

sys_writev

vfs_writev

do_readv_writev

do_sync_readv_writev

sock_aio_write

do_sock_write

__sock_sendmsg

recv

sys_recv

sys_recvfrom

recvfrom

sys_recvfrom

sock_recvmsg

recvmsg

sys_recvmsg

sock_recvmsg

read

sys_read

vfs_read

file->f_op->read= do_sync_read

filp->f_op->aio_read= sock_aio_read

do_sock_read

__sock_recvmsg

readv

sys_readv

vfs_readv

do_readv_readv

do_sync_readv_readv

sock_aio_read

do_sock_read

__sock_recvmsg

socket

listen

connect

bind

select

close

shutdown

ioctl

getsockname

getpeername

setsockopt

getsockopt


内部实现函数

sock_sendmsg

__sock_sendmsg


__sock_sendmsg

sock->ops->sendmsg

对于TCP就是tcp_sendmsg,否则就是inet_sendmsg。后者调用sk->sk_prot->sendmsg,会继续分用为udp_sendmsg或raw_sendmsg函数


sock_recvmsg

__sock_recvmsg


__sock_recvmsg

sock->ops->recvmsg = sock_common_recvmsg

sock_common_recvmsg对于不同协议,是tcp_recvmsg,udp_sendmsg或raw_sendmsg函数。


运输层


TCP

系统调用sys_connect间接调用了tcp_v4_connect

tcp_v4_connect

ip_route_connect(寻找路由)

__ip_route_output_key

ip_route_output_flow★

tcp_connect(构造一个SYN并发送)

tcp_transmit_skb

inet_csk_reset_xmit_timer(启动一个超时定时器,等待SYN+ACK)



TCP的写函数最终都调用了tcp_sendmsg

tcp_sendmsg★

__tcp_push_appending_frames

tcp_write_xmit

tcp_transmit_skb

tcp_push_one

tcp_transmit_skb

tcp_push

__tcp_push_pending_frames



TCP发送数据共有三种途径__tcp_push_appending_frames,tcp_push_one,tcp_push,其中tcp_push调用了__tcp_push_pending_frames。到底调用哪个或哪些函数取决于是否有PUSH标志、NAGLE是否开启、和一些其他情况。

__tcp_push_appending_frames是试图一次发送完缓存队列中所有的skb。tcp_push_one先计算拥塞窗口,然后只发送窗口大小的数据,如果窗口大小为0,则不发送任何数据。



TCP实际的发送函数,tcp_transmit_skb

/* This routine actually transmits TCP packets queued in by

* tcp_do_sendmsg(). This is used by both the initial

* transmission and possible later retransmissions.

* All SKB's seen here are completely headerless. It is our

* job to build the TCP header, and pass the packet down to

* IP so it can do the same plus pass the packet off to the

* device.

*

* We are working here with either a clone of the original

* SKB, or a fresh unique copy made by the retransmit engine.

*/

tcp_transmit_skb

build包头

icsk->icsk_af_ops->queue_xmit = ip_queue_xmit★



硬件->IP层->运输层收到数据,添加到对应的SOCKET缓冲区中,回复ACK

由ip_rcv间接调用

tcp_v4_rcv

__inet_lookup(根据一些参数,查找sock结构)

__inet_lookup_established(在已经建立的连接中找,通过inet_lhashfn在哈希表中查找)

__inet_lookup_listener(在监听中的Socket中找,通过inet_lhashfn在哈希表中查找)

tcp_v4_do_rcv

tcp_rcv_established(ESTABLISHED)★

tcp_child_process

tcp_rcv_state_process

tcp_rcv_state_process(除ESTABLISHED和TIME_WAIT之外)★

tcp_prequeue(见后面详细解释)

sk->sk_backlog_rcv = tcp_v4_do_rcv(又回到开头)

sk_add_backlog(见后面详细解释)

tcp_timewait_state_process(TIME_WAIT)

tcp_v4_timewait_ack(TIME_WAIT)

tcp_v4_send_ack(发送ACK)


sock结构被初始化的时候,发送和接收数据的缓冲队列也被初始化完成,接收数据用到以下三个队列:

sk->receive_queue

sk->prequeue

sk->sk_backlog

sk->prequeue:如果sk没有被用户态程序锁定,则先进入prequeue

sk->receive_queue:接收到数据包的sk_buff链表队列,如果数据包过多,造成receive_queue满,或者sock被用户程序锁定,将转入sk_backlog

sk->sk_backlog:当sock_owned_by_user函数返回真时候,(sk)->sk_lock.owner被锁定,使用sk_add_backlog()函数(该函数实现非常简单,只是一个为链表添加节点的动作)将SKB加入这个后备队列。



tcp_rcv_established

TCP接受里面最主要的就是tcp_rcv_established和tcp_rcv_state_process了

tcp_rcv_established★

if(fast path)

检查包头各字段

tcp_ack(处理CK)

tcp_data_snd_check(发送ACK)

__skb_pull(腾出空间)

__skb_queue_tail(把数据追加到接受缓冲区)

else(slow path)

tcp_data_queue

对滑动窗口、序号做出处理

__skb_pull

__skb_queue_tail

tcp_event_data_recv(更新状态)



tcp_rcv_state_process

TCP协议的状态机,状态转移函数。ESTABLISHED和TIME_WAIT状态之外的其他状态都会调用此函数

tcp_rcv_state_process★

icsk->icsk_af_ops->conn_request(是tcp_v4_conn_request,LISTEN状态)

tcp_v4_send_synack(发送SYN+ACK)

ip_build_and_send_pkt

ip_local_out

__ip_local_out

nf_hook(dst_output)

dst_output

tcp_rcv_synsent_state_process(SYN_SENT)

tcp_reset

tcp_ack(收到ACK)

tcp_set_state(SYN_RECV->ESTABLISHED或者FIN_WAIT1->FIN_WAIT2)

tcp_time_wait(CLOSING->TIME_WAIT)

tcp_update_metrics(LAST_ACK)

...(都是和TCP协议状态转移相关的东西,这里目的是打通上下,以后慢慢分析)



还有两个出镜率较高的函数tcp_v4_send_reset和tcp_v4_send_ack

tcp_v4_send_reset(发送RST)

ip_send_reply

ip_route_output_key

ip_push_pending_frames



tcp_v4_send_ack(发送ACK)

ip_send_reply

ip_route_output_key

ip_push_pending_frames



用户子上而下的读函数都间接的调用了tcp_recvmsg

tcp_recvmsg★

skb_copy_datagram_iovec

tcp_recv_urg(接受一个字节的URG数据)


UDP

UDP的写函数都调用了udp_sendmsg

udp_sendmsg★

ip_route_output_flow

ip_append_data

udp_flush_pending_frames

ip_flush_pending_frames

udp_push_pending_frames

ip_push_pending_frames


硬件->IP层->运输层收到数据,添加到对应的SOCKET缓冲区中

由ip_rcv间接调用

udp_rcv

__udp4_lib_rcv

if(是多播或广播)

__udp4_lib_mcast_deliver

udp_queue_rcv_skb(对每个需要接受的UDP SOCKET缓冲调用)

__udp4_lib_lookup

udp_queue_rcv_skb



把数据块sk_buff放到一个sock结构的接受缓存的末尾中

udp_queue_rcv_skb

sock_queue_rcv_skb

skb_queue_tail


用户子上而下的读函数都间接的调用了udp_recvmsg

udp_recvmsg★

__skb_recv_datagram

skb_copy_datagram_iovec

skb_copy_and_csum_datagram_iovec


原始套接字

RAW Socket的写函数都调用了raw_sendmsg

raw_sendmsg★

ip_route_output_flow

if(设置了IP_HDRINCL选项,即自己构造ip头部)

raw_send_hdrinc★

else

ip_append_data

ip_flush_pending_frames或

ip_push_pending_frames



自底向上的收包

raw_rcv

由ip_forward调用ip_call_ra_chain,然后再调用的raw_rcv

raw_rcv

sock_queue_rcv_skb

skb_queue_tail

sk->sk_data_ready = sock_def_readable

waitqueue_active

sk_wake_async



用户子上而下的读函数都间接的调用了raw_recvmsg

raw_recvmsg★

skb_recv_datagram

__skb_recv_datagram

wait_for_packet(如果没有数据,则调用此函数等待数据)



ICMP

在任何需要发送ICMP报文的时候都会调用此函数

icmp_send

__ip_route_output_key

ip_route_output_slow

ip_route_output_key

ip_route_output_flow

icmp_push_reply

ip_append_data

ip_flush_pending_frames或

ip_push_pending_frames



硬件->IP层->运输层收到ICMP数据,作出处理逻辑

由ip_rcv间接调用

icmp_rcv

完全就是icmp协议的处理逻辑,通过函数指针icmp_pointers[icmph->type].handler调用了一下函数中的某一个

icmp_discard

icmp_unreach

icmp_redirect

icmp_timestamp

icmp_address

icmp_address_reply

icmp_echo



网络层

IP发送

网络层中主要的发送函数有以下三个:ip_push_pending_frames,ip_queue_xmit,raw_send_hdrinc

ip_push_pending_frames★

将所有pending状态的IP分组组合成一个IP分组,并发送

ip_local_out



ip_queue_xmit★

ip_route_output_flow(找路由)

ip_local_out



raw_send_hdrinc★

NF_HOOK(dst_output)



ip_local_out★

__ip_local_out

nf_hook(dst_output)

dst_output


路由选择

ip_route_output_flow★

__ip_route_output_key

ip_route_output_slow


路由选择

ip_route_output_slow★

fib_lookup

ip_mkroute_output

__mkroute_output

rt_hash

rt_intern_hash

arp_bind_neighbour

__neigh_lookup_errno

neigh_lookup

neigh_create



dst_output★

dst->output = ip_output

NF_HOOK_COND(ip_finish_output)

dst_output

ip_fragment

ip_finish_output2

neigh_hh_output

hh->hh_output = dev_queue_xmit★

dst->neighbour->output = neigh_resolve_output

neigh->ops->queue_xmit = dev_queue_xmit★


IP接受

接收IPv4包,由netif_rx间接调用

ip_rcv★

NF_HOOK

ip_rcv_finish

ip_route_input

dst_input

dst->input(可能是ip_local_deliver或ip_forward)

if(是发给本地的包)

dst->input是ip_local_deliver

NF_HOOK

ip_local_deliver_finish

ipprot->handler(可能是tcp_v4_rcv,udp_rcv,icmp_rcv,igmp_rcv)

else

dst->input是ip_forward


更新路由

ip_route_input★

ip_route_input_mc(多播)

rt_hash

rt_intern_hash

ip_route_input_slow(其它)

ip_mkroute_input

__mkroute_input

rt_hash

rt_intern_hash

每收到一个IP报文都会调用此函数更新路由表。ip_route_input函数的上半部分是在hash table寻找路由项,如果找到就返回。找不到才会调用后面的ip_route_input_mc或ip_route_input_slow来更新路由表。



转发

ip_forward★

ip_call_ra_chain

raw_rcv★

xfrm4_route_forward(处理路由)

xfrm_route_forward

__xfrm_route_forward

xfrm_lookup

__xfrm_lookup

xfrm_find_bundle

afinfo->find_bundle = __xfrm4_find_bundle

xfrm_bundle_create

xfrm_dst_lookup

afinfo->dst_lookup = xfrm4_dst_lookup

__ip_route_output_key

ip_route_output_slow★

处理各个参数(在一定条件下发送ICMP)

ip_decrease_ttl(减少TTL)

NF_HOOK(ip_forward_finish)

dst_output



链路层

接收帧

由硬件驱动在中断处理程序中直接调用netif_rx

netif_rx★

if(netpoll_rx函数与把数据拿走)

return

__skb_queue_tail(把所有收到的数据保存起来)

napi_schedule

__napi_schedule

__raise_softirq_irqoff(NET_RX_SOFTIRQ);


在net_dev_init函数中初始化了软中断:

open_softirq(NET_TX_SOFTIRQ, net_tx_action, NULL);

open_softirq(NET_RX_SOFTIRQ, net_rx_action, NULL);

所以NET_RX_SOFTIRQ中断的处理函数是net_rx_action,NET_TX_SOFTIRQ中断的处理函数是net_tx_action。需要让上层接收数据时,只要触发相应的软中断,如__raise_softirq_irqoff(NET_RX_SOFTIRQ)。内核就会在适当时机执行do_softirq来处理pending的软中断。



net_rx_action★

n->poll = process_backlog

netif_receive_skb

pt_prev->func = ip_rcv★(在这里完成了交接)

__raise_softirq_irqoff(NET_RX_SOFTIRQ)



发送帧

dev_queue_xmit★

rcu_read_lock_bh

if(设备有发送队列)

q->enqueue(将数据追加到发送队列,软中断处理函数net_tx_action会执行真正的发送工作)

else

dev_hard_start_xmit

dev->hard_start_xmit = el_start_xmit★

调用outw汇编指令发送数据,够底层了

rcu_read_unlock_bh



net_tx_action★

__kfree_skb(释放已发送的,此时中断由dev_kfree_skb_irq函数发起)

qdisc_run

__qdisc_run

qdisc_restart

dev_hard_start_xmit★

netif_schedule

netif_schedule



netif_schedule★

__netif_schedule

raise_softirq_irqoff(NET_TX_SOFTIRQ)