自 IronPython 正式发布以来，由于对 Python 语言的喜爱所驱使，同时我想藉此去了解一下编程语言的编译器，分析器等程序是什么原理，如何运作的，所以我开始了对 IronPython 源代码的学习过程。但代码也看了有一段时间了，之前是看一些实现细节，结果越看越糊涂。现在我发现需要改变一下策略了，因为我们了解一个系统总是从对它的使用方法去开始了解，如果直接去了解底层的运作原理，则可能会迷失在代码海洋里面。所以我也准备采取自顶而下的分析方法，捡软柿子捏，从简单的，宏观的入手。至于具体的实现细节，可以慢慢再深入研究。
OK，今天被我抓到的看起来像软柿子的是:
IronPython/Hosting/PythonCompiler.cs
首先我们抓住要点，看这个文件中的主要类： PythonCompiler （Python 编译器）
在这个类中，首先有一堆的属性不用去管，表示的无非是编译器将要输出的文件的类型啊（DLL 还是 EXE），输出路径，引用了哪些程序集啊等等东西。
直奔主题，我们看到 Compile() 方法，这是负责编译的主控制方法。
这个方法不难理解，我读了一遍，注释如下：
/// <summary>
/// 编译
/// </summary>
public void Compile() {
string fullPath = Path.GetFullPath(outputAssembly);
string outDir = Path.GetDirectoryName(fullPath);
string fileName = Path.GetFileName(outputAssembly);
// Python 编译器的接受池
PythonCompilerSink sink = new PythonCompilerSink(compilerSink);
// 程序集产生器
assemblyGen = new AssemblyGen(
Path.GetFileNameWithoutExtension(outputAssembly),
outDir, fileName, includeDebugInformation, staticTypes, executable, machine
);
// 是否以设定入口点(entry point)
bool entryPointSet = false;
// 设定默认的主文件（对非 DLL 的输出文件类型而言）
if (mainFile == null && sourceFiles.Count == 1 && targetKind != PEFileKinds.Dll) {
mainFile = sourceFiles[0];
}
// 对每个源文件依次编译
foreach (string sourceFile in sourceFiles) {
// 是否产生 Main 方法
bool createMainMethod = sourceFile == mainFile;
// 每个源代码文件编译为一个模块
CompilePythonModule(sourceFile, sink, createMainMethod);
if (sink.Errors > 0) return;
if (createMainMethod) {
entryPointSet = true;
}
}
// 依次将所有资源文件添加到程序集中
if (resourceFiles != null) {
foreach (ResourceFile rf in resourceFiles) {
assemblyGen.AddResourceFile(rf.Name, rf.File, rf.PublicResource ? ResourceAttributes.Public : ResourceAttributes.Private);
}
}
// 对非 DLL 的目标文件，必须要求有一个入口点
if (targetKind != PEFileKinds.Dll && !entryPointSet) {
sink.AddError("", string.Format("Need an entry point for target kind {0}", targetKind), String.Empty, CodeSpan.Empty, -1, Severity.Error);
}
// 最终产生输出的程序集
assemblyGen.Dump();
}
这段代码中，调用到了 PythonCompiler 类自身的私有方法 CompilePythonModule() 来完成编译模块的功能。下面我们来看一下这个方法在做什么：
// 编译模块
private void CompilePythonModule(string fileName, PythonCompilerSink sink, bool createMain) {
// 设定当前要编译的源文件
assemblyGen.SetPythonSourceFile(fileName);
// 创建编译器环境对象
CompilerContext context = new CompilerContext(fileName, sink);
// 创建分析器
Parser p = Parser.FromFile(state, context);
// 调用分析器的分析方法，得到一个语句对象（语句应该是利用了组合模式的一个嵌套的概念，这个语句代表整个文件里的一个大语句）
Statement body = p.ParseFileInput();
if (sink.Errors > 0) return;
// 创建一个全局套件？？有可能是指 globals() 这个字典对象。有待分析。。。
// 这里面的 Binder 是干什么的也有待研究。
GlobalSuite gs = Compiler.Ast.Binder.Bind(body, context);
string moduleName = GetModuleFromFilename(fileName);
// 这里看到了 TypeGen，该类代表一个类型产生器
// tg 指向了一个模块类型（IronPython 中，每一个模块产生为一个对应的类。）
TypeGen tg = OutputGenerator.GenerateModuleType(moduleName, assemblyGen);
// 编译模块的 __init__ 方法？？（猜测）
CodeGen init = CompileModuleInit(context, gs, tg, moduleName);
// 如果需要创建 Main 方法则创建之
if (createMain) {
// 联想前面一个 CodeGen 的例子，观察调用语句可以想到，方法的产生器是
// CodeGen，而类型的产生器是 TypeGen
CodeGen main = OutputGenerator.GenerateModuleEntryPoint(tg, init, moduleName, referencedAssemblies);
// 这里注意到 CodeGen 代码产生器含有一个重要的属性就是代表这个方法
// 的反射信息的 MethodInfo, 可以通过这个来调用产生的方法。
assemblyGen.SetEntryPoint(main.MethodInfo, targetKind);
}
// 因为模块类不是普通的类，需要给他添加一个特殊的标签（Attribute）
assemblyGen.AddPythonModuleAttribute(tg, moduleName);
// 产生类型的动作完毕
tg.FinishType();
}
在上述两个方法中，我们看到，出现了几个重要的类，它们将是我们下面接着分析的重点线索：
Parser: 分析器
Statement: 语句
GlobalSuite: globals() ??
TypeGen： 类型产生器
CodeGen： 代码产生器（用于产生方法的代码）
在另一个私有方法 CompileModuleUnit 中，主要是进行了一些模块的导入工作，代码很容易懂，这里不详细分析。
现在回头看一下，在 IronPython/Hosting/PythonCompiler.cs 这个文件中，还剩下了两个类没有提到：
ResourceFile: 代表一个资源文件的相关属性。
PythonCompilerSink: 按照字面理解就是 PythonCompiler 的编译结果的接受池。至于它到底如何运作，留待后面再分析。
到这里为止，我们大致上看到了 IronPython 编译器的工作流程，从一系列源代码文件，资源文件，以及其他一些配置属性出发，经过 Parser, 各种 Generator 的运作，最终到达 AssemblyGenerator 的 Dump() 方法，输出编译结果程序集。
以上的代码分析难免有错误之处，尚有待继续挖掘和梳理。
出处：javascript:void(0)
自 IronPython 正式发布以来，由于对 Python 语言的喜爱所驱使，同时我想藉此去了解一下编程语言的编译器，分析器等程序是什么原理，如何运作的，所以我开始了对 IronPython 源代码的学习过程。但代码也看了有一段时间了，之前是看一些实现细节，结果越看越糊涂。现在我发现需要改变一下策略了，因为我们了解一个系统总是从对它的使用方法去开始了解，如果直接去了解底层的运作原理，则可能会迷失在代码海洋里面。所以我也准备采取自顶而下的分析方法，捡软柿子捏，从简单的，宏观的入手。至于具体的实现细节，可以慢慢再深入研究。
OK，今天被我抓到的看起来像软柿子的是:
IronPython/Hosting/PythonCompiler.cs
首先我们抓住要点，看这个文件中的主要类： PythonCompiler （Python 编译器）
在这个类中，首先有一堆的属性不用去管，表示的无非是编译器将要输出的文件的类型啊（DLL 还是 EXE），输出路径，引用了哪些程序集啊等等东西。
直奔主题，我们看到 Compile() 方法，这是负责编译的主控制方法。
这个方法不难理解，我读了一遍，注释如下：
/// <summary>
/// 编译
/// </summary>
public void Compile() {
string fullPath = Path.GetFullPath(outputAssembly);
string outDir = Path.GetDirectoryName(fullPath);
string fileName = Path.GetFileName(outputAssembly);
// Python 编译器的接受池
PythonCompilerSink sink = new PythonCompilerSink(compilerSink);
// 程序集产生器
assemblyGen = new AssemblyGen(
Path.GetFileNameWithoutExtension(outputAssembly),
outDir, fileName, includeDebugInformation, staticTypes, executable, machine
);
// 是否以设定入口点(entry point)
bool entryPointSet = false;
// 设定默认的主文件（对非 DLL 的输出文件类型而言）
if (mainFile == null && sourceFiles.Count == 1 && targetKind != PEFileKinds.Dll) {
mainFile = sourceFiles[0];
}
// 对每个源文件依次编译
foreach (string sourceFile in sourceFiles) {
// 是否产生 Main 方法
bool createMainMethod = sourceFile == mainFile;
// 每个源代码文件编译为一个模块
CompilePythonModule(sourceFile, sink, createMainMethod);
if (sink.Errors > 0) return;
if (createMainMethod) {
entryPointSet = true;
}
}
// 依次将所有资源文件添加到程序集中
if (resourceFiles != null) {
foreach (ResourceFile rf in resourceFiles) {
assemblyGen.AddResourceFile(rf.Name, rf.File, rf.PublicResource ? ResourceAttributes.Public : ResourceAttributes.Private);
}
}
// 对非 DLL 的目标文件，必须要求有一个入口点
if (targetKind != PEFileKinds.Dll && !entryPointSet) {
sink.AddError("", string.Format("Need an entry point for target kind {0}", targetKind), String.Empty, CodeSpan.Empty, -1, Severity.Error);
}
// 最终产生输出的程序集
assemblyGen.Dump();
}
这段代码中，调用到了 PythonCompiler 类自身的私有方法 CompilePythonModule() 来完成编译模块的功能。下面我们来看一下这个方法在做什么：
// 编译模块
private void CompilePythonModule(string fileName, PythonCompilerSink sink, bool createMain) {
// 设定当前要编译的源文件
assemblyGen.SetPythonSourceFile(fileName);
// 创建编译器环境对象
CompilerContext context = new CompilerContext(fileName, sink);
// 创建分析器
Parser p = Parser.FromFile(state, context);
// 调用分析器的分析方法，得到一个语句对象（语句应该是利用了组合模式的一个嵌套的概念，这个语句代表整个文件里的一个大语句）
Statement body = p.ParseFileInput();
if (sink.Errors > 0) return;
// 创建一个全局套件？？有可能是指 globals() 这个字典对象。有待分析。。。
// 这里面的 Binder 是干什么的也有待研究。
GlobalSuite gs = Compiler.Ast.Binder.Bind(body, context);
string moduleName = GetModuleFromFilename(fileName);
// 这里看到了 TypeGen，该类代表一个类型产生器
// tg 指向了一个模块类型（IronPython 中，每一个模块产生为一个对应的类。）
TypeGen tg = OutputGenerator.GenerateModuleType(moduleName, assemblyGen);
// 编译模块的 __init__ 方法？？（猜测）
CodeGen init = CompileModuleInit(context, gs, tg, moduleName);
// 如果需要创建 Main 方法则创建之
if (createMain) {
// 联想前面一个 CodeGen 的例子，观察调用语句可以想到，方法的产生器是
// CodeGen，而类型的产生器是 TypeGen
CodeGen main = OutputGenerator.GenerateModuleEntryPoint(tg, init, moduleName, referencedAssemblies);
// 这里注意到 CodeGen 代码产生器含有一个重要的属性就是代表这个方法
// 的反射信息的 MethodInfo, 可以通过这个来调用产生的方法。
assemblyGen.SetEntryPoint(main.MethodInfo, targetKind);
}
// 因为模块类不是普通的类，需要给他添加一个特殊的标签（Attribute）
assemblyGen.AddPythonModuleAttribute(tg, moduleName);
// 产生类型的动作完毕
tg.FinishType();
}
在上述两个方法中，我们看到，出现了几个重要的类，它们将是我们下面接着分析的重点线索：
Parser: 分析器
Statement: 语句
GlobalSuite: globals() ??
TypeGen： 类型产生器
CodeGen： 代码产生器（用于产生方法的代码）
在另一个私有方法 CompileModuleUnit 中，主要是进行了一些模块的导入工作，代码很容易懂，这里不详细分析。
现在回头看一下，在 IronPython/Hosting/PythonCompiler.cs 这个文件中，还剩下了两个类没有提到：
ResourceFile: 代表一个资源文件的相关属性。
PythonCompilerSink: 按照字面理解就是 PythonCompiler 的编译结果的接受池。至于它到底如何运作，留待后面再分析。
到这里为止，我们大致上看到了 IronPython 编译器的工作流程，从一系列源代码文件，资源文件，以及其他一些配置属性出发，经过 Parser, 各种 Generator 的运作，最终到达 AssemblyGenerator 的 Dump() 方法，输出编译结果程序集。
以上的代码分析难免有错误之处，尚有待继续挖掘和梳理。
