René's URL Explorer Experiment

{"@context":"https://schema.org","@type":"DiscussionForumPosting","headline":"Node模块加载原理","articleBody":"### 导读\r\n文章不介绍commonjs细节。会分两部分去介绍node模块加载的原理，第一部分是抽象模型，这部分是希望用最简单的语言去概括node模块运行状态。第二部分是对第一部分的补充，需要结合源码去分析其中的细节。\r\n\r\n### 术语约定\r\nNode编译时：指node安装时候编译的过程\r\nNode启动时：指通过node命令开启一个node进程的过程\r\nNode运行时：指node启动后，node脚本运行的过程\r\n\r\n## 1. 抽象模型\r\n### 模块边界划分\r\n![模块边界划分](https://user-images.githubusercontent.com/15258919/82280073-a1782e80-99c0-11ea-9320-4be8d67182bb.png)\r\nNode内部的模块加载过程一般会分为两种：**核心模块**和**外部模块**。\r\n核心模块：指的是系统内部的，由c/c++或者js编写。\r\n外部模块：指的是运行时非node原生定义的模块，一般支持.node, .js , .json三种后缀。其中.node后缀是由自建c++编译得到的模块文件。\r\n\r\n### c/c++内建核心模块\r\n如前面所说，这部分是由c/c++编写的原生的代码，放源码的src文件夹下。在**Node编译时**会将内建的c/c++代码提取编译成二进制代码，通过一个数组关联。在**启动Node代码时**，这部分二进制代码会随着Node启动一起运行。在**Node脚本运行时**，如果引入相关的模块，会直接提取使用和缓存。\r\n其过程可以如下抽象：\r\n![内建模块](https://user-images.githubusercontent.com/15258919/82282308-169a3280-99c6-11ea-92ac-f3109c71843c.png)\r\n\r\n### js核心模块\r\n这部分是由js编写的原生模块代码，放在源码的lib文件夹下。在**Node编译时**，这部分代码会被v8提供的js2c.py脚本提取到c++的一个头文件node_natives.h中。提取内容为模块和**js源码字符串**的对应关系。源码字符串指的是，不像c++，js代码并不会提前解释，所以存储在内存的是js的字符串。**启动时**，和c++相关部分模块一起关联在核心模块中，平时我们在使用node模块时候，并不会去注意其本身是c++还是js编写。**运行时**如果使用相关模块，会获取js源码字符串，这个和前面的c++相关模块对比，获取时候会判断是c++内置模块还是js核心模块，如果是c++的直接通过binding函数获取运行，如果是js则由compile方法通过v8解释运行。同时使用过核心模块会添加到NativeModule对象的_cache缓存一个模块id。\r\n其过程可以如下抽象：\r\n![js核心模块](https://user-images.githubusercontent.com/15258919/82282920-80ffa280-99c7-11ea-9723-cdf3687e2890.png)\r\n\r\n### 外部模块\r\nNode能解析三种后缀的模块 .js、.node、.json。Node在解析外部模块过程中，先要解析模块的路径，尝试获取文件，如果没有或尝试在node_module中获取。\r\n1. .js类型\r\njs模块的加载过程，首先通过fs解析路径，获取文件代码，然后包装，最后通过v8进行编译解释运行，对于解释过的外部模块，会添加的Module对象的_cache缓存。\r\n\r\n2. .json类型\r\njson模块实际上只是加载json数据的过程，解析完文件，将json文件用JSON.parse运行转换成js数据\r\n格式。\r\n\r\n3. .node类型\r\n.node类型模块是c/c++代码通过node-gyp程序将代码编译成二进制的node文件，node中通过dlopen方法可以加载.node模块进行运行。在写c/c++模块时候，需要先编译成.node类型才能被node程序识别，node无法直接识别c++模块\r\n\r\n4. 其他\r\n其他后缀会被node当成js程序执行。\r\n\r\n## 2. 具体过程细节\r\n上面有个大体的流程，node新版和旧版本的代码必然是不一样的。\r\n### v6版本node\r\n### 启动过程\r\nnode启动代码在src的node_main.cc的c++文件下。[node_main.cc](https://github.com/nodejs/node/blob/v6.x/src/node_main.cc)\r\n``` c++\r\nint main(int argc, char *argv[]) {\r\n  // Disable stdio buffering, it interacts poorly with printf()\r\n  // calls elsewhere in the program (e.g., any logging from V8.)\r\n  setvbuf(stdout, nullptr, _IONBF, 0);\r\n  setvbuf(stderr, nullptr, _IONBF, 0);\r\n  return node::Start(argc, argv);\r\n}\r\n```\r\n调用了[node.cc](https://github.com/nodejs/node/blob/v6.x/src/node.cc)文件的Start方法, Start方法中调用了StartNodeInstance，然后调用了LoadEnvironment， 在LoadEnvironment中，拿到bootstrap_node.js运行。\r\n``` c++\r\nLocal\u003cString\u003e script_name = FIXED_ONE_BYTE_STRING(env-\u003eisolate(),\r\n                                                    \"bootstrap_node.js\");\r\n```\r\n\r\n### 使用require加载\r\n平时使用node，都是像下面这样用require加载模块，可能是http这样的模块，也可能是相对路径的文件模块。\r\n``` node\r\nrequire('http')\r\nrequire('./utils.js')\r\n```\r\nrequire的方法定义在Module.js对象上。[module.js](https://github.com/nodejs/node/blob/v6.x/lib/module.js)文件在lib对于文件夹下。关于require的流程细节就像代码展示的一样：\r\n```\r\nModule.prototype.require = function(path) {\r\n  assert(path, 'missing path');\r\n  assert(typeof path === 'string', 'path must be a string');\r\n  return Module._load(path, this, /* isMain */ false);\r\n};\r\n...\r\nModule._load = function(request, parent, isMain) {\r\n  if (parent) {\r\n    debug('Module._load REQUEST %s parent: %s', request, parent.id);\r\n  }\r\n\r\n  var filename = Module._resolveFilename(request, parent, isMain);\r\n\r\n  var cachedModule = Module._cache[filename];\r\n  if (cachedModule) {\r\n    return cachedModule.exports;\r\n  }\r\n\r\n  if (NativeModule.nonInternalExists(filename)) {\r\n    debug('load native module %s', request);\r\n    return NativeModule.require(filename);\r\n  }\r\n\r\n  var module = new Module(filename, parent);\r\n\r\n  if (isMain) {\r\n    process.mainModule = module;\r\n    module.id = '.';\r\n  }\r\n\r\n  Module._cache[filename] = module;\r\n\r\n  tryModuleLoad(module, filename);\r\n\r\n  return module.exports;\r\n};\r\n```\r\n可以看到，所有核心的模块是用NativeModule.require(filename)获取，外部模块通过tryModuleLoad(module, filename)方法获取。\r\n\r\n### 外部模块的获取细节\r\n在上面的代码中，可以看到，通过tryModuleLoad(module, filename)获取了外部模块，而在tryModuleLoad中，其实还是调用了Module._extensions对象来按文件后缀引入外部模块。平时在我们在写模块文件中，可以拿到module，exports, require等对象，可以通过console.log(require.extensions)打印extensions的结构。下面看看tryModuleLoad的流程代码是怎么走：\r\n``` node\r\nfunction tryModuleLoad(module, filename) {\r\n  var threw = true;\r\n  try {\r\n    module.load(filename);\r\n    threw = false;\r\n  } finally {\r\n    if (threw) {\r\n      delete Module._cache[filename];\r\n    }\r\n  }\r\n}\r\n\r\nModule.prototype.load = function(filename) {\r\n  debug('load %j for module %j', filename, this.id);\r\n\r\n  assert(!this.loaded);\r\n  this.filename = filename;\r\n  this.paths = Module._nodeModulePaths(path.dirname(filename));\r\n\r\n  var extension = path.extname(filename) || '.js';\r\n  if (!Module._extensions[extension]) extension = '.js';\r\n  Module._extensions[extension](this, filename);\r\n  this.loaded = true;\r\n};\r\n```\r\n\r\n_extensions定义了三个方法分别是.js,.json,.node:\r\n```\r\nModule._extensions['.js'] = function(module, filename) {\r\n  var content = fs.readFileSync(filename, 'utf8');\r\n  module._compile(internalModule.stripBOM(content), filename);\r\n};\r\n\r\n\r\n// Native extension for .json\r\nModule._extensions['.json'] = function(module, filename) {\r\n  var content = fs.readFileSync(filename, 'utf8');\r\n  try {\r\n    module.exports = JSON.parse(internalModule.stripBOM(content));\r\n  } catch (err) {\r\n    err.message = filename + ': ' + err.message;\r\n    throw err;\r\n  }\r\n};\r\n\r\n\r\n//Native extension for .node\r\nModule._extensions['.node'] = function(module, filename) {\r\n  return process.dlopen(module, path._makeLong(filename));\r\n};\r\n```\r\n#### 1. js文件\r\n正如前面的抽象模型所表示的，js文件会调用_compile方法编译，_compile会调用vm对象通过v8解释代码，关于vm接口可以在node文档中查阅。\r\n``` node\r\nvar compiledWrapper = vm.runInThisContext(wrapper, {\r\n    filename: filename,\r\n    lineOffset: 0,\r\n    displayErrors: true\r\n  });\r\n```\r\n#### 2. json\r\n这个没什么好说的。\r\nmodule.exports = JSON.parse(internalModule.stripBOM(content));\r\n\r\n#### 3. node\r\n也没什么好说的： process.dlopen(module, path._makeLong(filename));\r\n\r\n### 核心模块\r\n核心模块的流程走的是NativeModule的require方法。\r\n\r\n#### js核心模块\r\n前面说到，**在编译时候**，js核心模块会被js2c.py脚本转换成一个c++头文件。生成位置是在out/release/obj/gen目录下。结构如：\r\n``` c++\r\nnamespace node {\r\n  const char node_native[] = { 47, 47, ..};\r\n  const char dgram_native[] = { 47, 47, ..}; \r\n  const char console_native[] = { 47, 47, ..}; \r\n  const char buffer_native[] = { 47, 47, ..};\r\n  const char querystring_native[] = { 47, 47, ..}; \r\n  const char punycode_native[] = { 47, 42, ..}; \r\n  ...\r\n  struct _native { \r\n    const char* name; \r\n    const char* source; \r\n    size_t source_len;\r\n  };\r\n  static const struct _native natives[] = {\r\n    {  \"node\",  node_native, sizeof(node_native)-1 },\r\n    { \"dgram\", dgram_native, sizeof(dgram_native)-1 },\r\n     ...\r\n  };\r\n}\r\n```\r\n其中，source对应的是js源码字符串。编译完成后，这个头文件会被编译进node二进制执行文件中（node命令）。\r\n**Node启动时候**，所有核心模块（js和c++的）都是通过NativeModule对象维护。文件对象定义在bootstrap_node,顾名思义，这个脚本会在启动时执行。\r\n[bootstrap_node源码文件](https://github.com/nodejs/node/blob/v6.x/lib/internal/bootstrap_node.js)\r\n其中跟着脚本一起执行的有：\r\n``` node\r\n NativeModule._source = process.binding('natives');\r\n NativeModule._cache = {};\r\n ...\r\n startup();\r\n```\r\nbinding方法是定义在c++中的方法。实际上就是将上面c++头文件的关系挂载到_source对象下。\r\n\r\n#### c/c++核心模块\r\nc++的模块在安装node时候以及编译成了可执行代码。所以平时使用如果涉及到c++的模块，通过上面NativeModule调用vm对象运行c++的模块，是不需要定位和编译过程，相对js的代码来说效率会更高。\r\n\r\nc++的模块，通过NODE_MODULE宏挂载在Node的命名空间里。\r\n``` c++\r\n#define NODE_MODULE(modname, regfunc)\r\n  extern \"C\" {\r\n    NODE_MODULE_EXPORT node::node_module_struct modname ## _module =\r\n    {\r\n      NODE_STANDARD_MODULE_STUFF,\r\n      regfunc,\r\n      NODE_STRINGIFY(modname)\r\n     };\r\n}\r\n```\r\nc++模块的结构体是：\r\n``` c++\r\nstruct node_module_struct {\r\n  int version;\r\n  void *dso_handle;\r\n  const char *filename;\r\n  void (*register_func) (v8::Handle\u003cv8::Object\u003e target); const char *modname;\r\n};\r\n```\r\n在node底层，可以通过Binding方法直接获取到c++的核心模块（正常都是通过调用js模块，间接调用），Binding方法定义在node.cc中：\r\n``` c++\r\nstatic void Binding(const FunctionCallbackInfo\u003cValue\u003e\u0026 args) {\r\n  Environment* env = Environment::GetCurrent(args);\r\n\r\n  Local\u003cString\u003e module = args[0]-\u003eToString(env-\u003eisolate());\r\n  node::Utf8Value module_v(env-\u003eisolate(), module);\r\n\r\n  Local\u003cObject\u003e cache = env-\u003ebinding_cache_object();\r\n  Local\u003cObject\u003e exports;\r\n\r\n  if (cache-\u003eHas(env-\u003econtext(), module).FromJust()) {\r\n    exports = cache-\u003eGet(module)-\u003eToObject(env-\u003eisolate());\r\n    args.GetReturnValue().Set(exports);\r\n    return;\r\n  }\r\n\r\n  // Append a string to process.moduleLoadList\r\n  char buf[1024];\r\n  snprintf(buf, sizeof(buf), \"Binding %s\", *module_v);\r\n\r\n  Local\u003cArray\u003e modules = env-\u003emodule_load_list_array();\r\n  uint32_t l = modules-\u003eLength();\r\n  modules-\u003eSet(l, OneByteString(env-\u003eisolate(), buf));\r\n\r\n  node_module* mod = get_builtin_module(*module_v);\r\n  if (mod != nullptr) {\r\n    exports = Object::New(env-\u003eisolate());\r\n    // Internal bindings don't have a \"module\" object, only exports.\r\n    CHECK_EQ(mod-\u003enm_register_func, nullptr);\r\n    CHECK_NE(mod-\u003enm_context_register_func, nullptr);\r\n    Local\u003cValue\u003e unused = Undefined(env-\u003eisolate());\r\n    mod-\u003enm_context_register_func(exports, unused,\r\n      env-\u003econtext(), mod-\u003enm_priv);\r\n    cache-\u003eSet(module, exports);\r\n  } else if (!strcmp(*module_v, \"constants\")) {\r\n    exports = Object::New(env-\u003eisolate());\r\n    DefineConstants(env-\u003eisolate(), exports);\r\n    cache-\u003eSet(module, exports);\r\n  } else if (!strcmp(*module_v, \"natives\")) {\r\n    exports = Object::New(env-\u003eisolate());\r\n    DefineJavaScript(env, exports);\r\n    cache-\u003eSet(module, exports);\r\n  } else {\r\n    char errmsg[1024];\r\n    snprintf(errmsg,\r\n             sizeof(errmsg),\r\n             \"No such module: %s\",\r\n             *module_v);\r\n    return env-\u003eThrowError(errmsg);\r\n  }\r\n\r\n  args.GetReturnValue().Set(exports);\r\n}\r\n```\r\n如代码所示，c++内建的模块通过`node_module* mod = get_builtin_module(*module_v);`调用，从node_module_list数组中拿出，然后通过register_func注册给exports对象，而前面的js模块则是由'native'统一挂载在NativeModule._source下。\r\n\r\n### 新版本node\r\n\r\n参考资料：\r\n[深入浅出nodejs.pdf](https://read.douban.com/ebook/12053349/)\r\n[node github源码](https://github.com/nodejs/node/tree/v6.x)\r\n[结合源码分析 Node.js 模块加载与运行原理](https://efe.baidu.com/blog/nodejs-module-analyze/)\r\n\r\n","author":{"url":"https://github.com/wython","@type":"Person","name":"wython"},"datePublished":"2020-05-19T03:55:03.000Z","interactionStatistic":{"@type":"InteractionCounter","interactionType":"https://schema.org/CommentAction","userInteractionCount":0},"url":"https://github.com/12/wython.github.io/issues/12"}