大家可以从官网下载到源码 ,也可以从Github(​​https://github.com/LuaDist/luajit​​)down下来,顺便还可以看下commit记录。


大家对着luajit的wiki结合源码看的话会更好些,因为。。文档太特么少了!!


目录结构:

-- src

    -- host

    -- jit

    *.c

    *.h

    *.dasc

等等,别的不是很重要


最开始我是从main函数开始看的,然后。。碰了一鼻子灰,后来研究下他的makefile,发现他是这样子的编译的,贴一下关键的msvcbuild.bat的代码(这个更容易看懂)



:X64
minilua %DASM% -LN %DASMFLAGS% -o host\buildvm_arch.h vm_x86.dasc
@if errorlevel 1 goto :BAD

%LJCOMPILE% /I "." /I %DASMDIR% host\buildvm*.c
@if errorlevel 1 goto :BAD
%LJLINK% /out:buildvm.exe buildvm*.obj
@if errorlevel 1 goto :BAD
if exist buildvm.exe.manifest^
%LJMT% -manifest buildvm.exe.manifest -outputresource:buildvm.exe

buildvm -m peobj -o lj_vm.obj
@if errorlevel 1 goto :BAD
buildvm -m bcdef -o lj_bcdef.h %ALL_LIB%
@if errorlevel 1 goto :BAD
buildvm -m ffdef -o lj_ffdef.h %ALL_LIB%
@if errorlevel 1 goto :BAD
buildvm -m libdef -o lj_libdef.h %ALL_LIB%
@if errorlevel 1 goto :BAD
buildvm -m recdef -o lj_recdef.h %ALL_LIB%
@if errorlevel 1 goto :BAD
buildvm -m vmdef -o jit\vmdef.lua %ALL_LIB%
@if errorlevel 1 goto :BAD
buildvm -m folddef -o lj_folddef.h lj_opt_fold.c
@if errorlevel 1 goto :BAD


先创建了一个buildvm.exe的中间工具,来自动生成代码,分别生成了lj_vm.obj,lj_bcdef.h,lj_ffdef.h ,lj_recdef.h ,jit\vmdef.lua,lj_folddef.h, lj_libdef.h


其中lv_vm.obj是依赖于host\buildvm_arch.h的,这个是用DynASM预处理vm_x86.dasc生成的,这个工具的具体分析会在下一篇博客提及。


先来看下上面自动生成的代码:

lj_bcdef.h:



LJ_DATADEF const uint16_t lj_bc_ofs[] = {
0,
71,
142,
213,
284,

};

LJ_DATADEF const uint16_t lj_bc_mode[] = {
BCDEF(BCMODE)
BCMODE_FF,
BCMODE_FF,
BCMODE_FF,
BCMODE_FF,
BCMODE_FF,

};


lj_bc_ofs[]可能是bc在vm代码段中的偏移量(这个我还没深入进去调试一下),vm的一部分是用DynASM直接撸汇编撸出来的,wiki中也有提到下一步jit化的opcode等等。


lj_bc_mode[]的用来根据压缩后的bytecode构造,分离出操作数,第一行的两个宏的定义是



#define BCMODE(name, ma, mb, mc, mm) \
(BCM##ma|(BCM##mb<<3)|(BCM##mc<<7)|(MM_##mm<<11)),
#define BCMODE_FF 0

#define BCDEF(_) \
/* Comparison ops. ORDER OPR. */ \
_(ISLT, var, ___, var, lt) \
_(ISGE, var, ___, var, lt) \
_(ISLE, var, ___, var, le) \
_(ISGT, var, ___, var, le) \
...



总之就是充斥着各种拼接起来的宏


lj_ffdef.h:




FFDEF(assert)
FFDEF(type)
FFDEF(next)
FFDEF(pairs)
FFDEF(ipairs_aux)
...


FFDEF的定义是在



/* Fast function ID. */
typedef enum {
FF_LUA_ = FF_LUA, /* Lua function (must be 0). */
FF_C_ = FF_C, /* Regular C function (must be 1). */
#define FFDEF(name) FF_##name,
#include "lj_ffdef.h"
FF__MAX
} FastFunc;


差不多就是用FF_##name把上面的名字拼接起来,然后生成在enum里面,这样就能当成是数字,在数组中迅速找到入口了


vmdef.lua:

这个里面内容就不贴了,包括bcname,irname,irfpm,irfield,ircall 的定义,在jit文件夹下面,用于调试等,比如在dump.lua中就有用到



local jit = require("jit")
assert(jit.version_num == 20002, "LuaJIT core/library version mismatch")
local jutil = require("jit.util")
local vmdef = require("jit.vmdef") // ← ← ← ←


当你用luajit -jdump的时候,就是调用的lua的jit库里面的lua函数


lj_recdef.h:



static const uint16_t recff_idmap[] = {
0,
0x0100,
0x0200,
0x0300,
0,
0,
0x0400,

};

static const RecordFunc recff_func[] = {
recff_nyi,
recff_c,
recff_assert,
recff_type,
recff_ipairs_aux,

};


其中recff_func[]是被注册的被traced jit 跟踪的函数,具体可是在lj_ffrecord.c里面看到

recff_idmap[]被用在lj_ffrecord_func这个函数中,有一个关键的数据结构RecordFFData,用来记录在trace过程中被调用函数的参数和返回值个数,和一些辅助数据,opcode,literal等等。通过recff_idmap[]保存的值来区分函数(待仔细研究)



lj_folddef.h:



static const FoldFunc fold_func[] = {
fold_kfold_numarith,
fold_kfold_ldexp,
fold_kfold_fpmath,
fold_kfold_numpow,

};

static const uint32_t fold_hash[916] = {
0xffffffff,
0xffffffff,
0x5b4c8016,

};


用在FOLD optimization中,见lj_opt_fold.c,主要在



if ((fh & 0xffffff) == k || (fh = fold_hash[h+1], (fh & 0xffffff) == k)) {
ref = (IRRef)tref_ref(fold_func[fh >> 24](J));
if (ref != NEXTFOLD)
break;
}


是根据数组偏移获取函数,直接执行。

(这个Optimation略复杂,以后的博文中再说)


----------------------------------------分割线-------------------------------------------


以上就是buildvm生成代码,在很多.c的文件中,他加入了一些无意义的MARCO,目的是为了能被buildvm识别出


下面说说src根目录下面的文件:


lauxlib.h:

用户开发扩展和与C交互的时候的头文件


lib_*.h /.c:

顾名思义,就是利用LuaAPI写的内部标准库,会在方法上表明是否会被trace ( LJLIB_REC(.) )。


ljamalg.c:

文件的合并


lj_alloc.h /.c:

定制的Memory Allocator


lj_api.c:


Public Lua/C API.


lj_arch.h:


Target architecture selection


lj_jit.h:

jit编译器里面数据结构的定义


lj_asm.h/ .c  lj_asm_*.c lj_emit_*.h lj_target_*.h/.c :

将IR编译成Machine Code,关键的数据结构ASMState,线性扫描的O(n2)分配算法


lj_bc.h/ .c:

Luajit字节码的定义和内存布局


lj_bcdump.c lj_bcread.c  lj_bcwrite.c:

围绕着字节码的操作


lj_carith.c:


C实现的一些数字运算


lj_ccall.h/ .c  lj_ccallback.h / .c :

FFI C语言函数调用和回调绑定


lj_debug.h/.c :

调试与自省用


lj_def.h:

这个很重要,重要的类型和一些宏定义在这里


lj_c*.h/ .c:

和C语言先关的,比如类型转化,char管理,数据管理


lj_frame.h:

Luajit的栈帧管理


lj_func.h/.c:

Function handle和闭包有关的upvalue数据结构


lj_gc.h/.c:

GC相关,GC可以看下luajit的wiki,里面涉及不少增量式GC的paper和作者的看法


lj_gdbjit.h/.c :

对gdb的支持


lj_ir*.h/.c:

SSA,IR相关(这个和bytecode还是不一样的)操作和优化


lj_lex.h/.c  lj_parse.h/.c:

lexer和parser


lj_mcode.h/.c:

Machine Code管理


lj_opt_*.h:

各种bytecode层面上的优化


lj_snap.h/.c:

快照支持


lj_state.h/.c:

LuaState和Stack的操作


lj_str*.h/.c  lj_tab.h/.c:

原生类型string和table操作


lj_udata.h/.c:

类型user data的操作


lj_vm.h/.c  lj_vmevent.h/.c:

vm的API和事件注册(lj_vmevent_send)


lj_vmmath.h/.c:

对vm支持的math库


lua.h:

luaState等基本的Lua结构


lualib.h:

和Lua一样,标准库的API


luajit.h:

luajit 的public API


vm_*.dasc:

编译期被DynASM预处理的源文件,下一篇讲DynASM时候介绍dasc文件


wmain.c:

windows下面的main入口


和Trace相关的:

lj_crecord.h/.c  : C操作的trace record

lj_dispatch.h/.c :  指令分发,调用ASMFuction,处理指令前的hook和记录trace用的hot count,有一个重要的数据结构 GG_State

lj_ff*.h/.c: 上面讲lj_ffdef.h的时候提过,trace的时候 记录Fast Function的调用记数

lj_trace.h/.c: trace的具体过程

lj_traceerr.h : trace error