nodejs原始碼—初始化

zp1996發表於2019-02-16

概述

相信很多的人,每天在終端不止一遍的執行著node這條命令,對於很多人來說,它就像一個黑盒,並不知道背後到底發生了什麼,本文將會為大家揭開這個神祕的面紗,由於本人水平有限,所以只是講一個大概其,主要關注的過程就是node模組的初始化,event loopv8的部分基本沒有深入,這些部分可以關注一下我以後的文章。(提示本文非常的長,希望大家不要看煩~)

node是什麼?

這個問題很多人都會回答就是v8 + libuv,但是除了這個兩個庫以外node還依賴許多優秀的開源庫,可以通過process.versions來看一下:
clipboard.png

  • http_parser主要用於解析http資料包的模組,在這個庫的作者也是ry,一個純c的庫,無任何依賴
  • v8這個大家就非常熟悉了,一個優秀的js引擎
  • uv這個就是ry實現的libuv,其封裝了libevIOCP,實現了跨平臺,node中的i/o就是它,儘管js是單執行緒的,但是libuv並不是,其有一個執行緒池來處理這些i/o操作。
  • zlib主要來處理壓縮操作,諸如熟悉的gzip操作
  • aresc-ares,這個庫主要用於解析dns,其也是非同步的
  • modules就是node的模組系統,其遵循的規範為commonjs,不過node也支援了ES模組,不過需要加上引數並且檔名字尾需要為mjs,通過原始碼看,nodeES模組的名稱作為了一種url來看待,具體可以參見這裡
  • nghttp2如其名字一樣,是一個http2的庫
  • napi是在node8出現,node10穩定下來的,可以給編寫node原生模組更好的體驗(終於不用在依賴於nan,每次更換node版本還要重新編譯一次了)
  • openssl非常著名的庫,tls模組依賴於這個庫,當然還包括https
  • icu就是small-icu,主要用於解決跨平臺的編碼問題,versions物件中的unicodecldrtz也源自icu,這個的定義可以參見這裡

從這裡可以看出的是process物件在node中非常的重要,個人的理解,其實node與瀏覽器端最主要的區別,就在於這個process物件

注:node只是用v8來進行js的解析,所以不一定非要依賴v8,也可以用其他的引擎來代替,比如利用微軟的ChakraCore,對應的node倉庫

node初始化

經過上面的一通分析,對node的所有依賴有了一定的瞭解,下面來進入正題,看一下node的初始化過程:

挖坑

node_main.cc為入口檔案,可以看到的是除了呼叫了node::Start之外,還做了兩件事情:

NODE_SHARED_MODE忽略SIGPIPE訊號

SIGPIPE訊號出現的情況一般在socket收到RST packet之後,扔向這個socket寫資料時產生,簡單來說就是clientserver發請求,但是這時候client已經掛掉,這時候就會產生SIGPIPE訊號,產生這個訊號會使server端掛掉,其實node::PlatformInit中也做了這種操作,不過只是針對non-shared lib build

改變緩衝行為

stdout的預設緩衝行為為_IOLBF(行緩衝),但是對於這種來說互動性會非常的差,所以將其改為_IONBF(不緩衝)

探索

node.cc檔案中總共有三個Start函式,先從node_main.cc中掉的這個Start函式開始看:

int Start(int argc, char** argv) {
  // 退出之前終止libuv的終端行為,為正常退出的情況
  atexit([] () { uv_tty_reset_mode(); });
  // 針對平臺進行初始化
  PlatformInit();
  // ...
  Init(&argc, const_cast<const char**>(argv), &exec_argc, &exec_argv);
  // ...
  v8_platform.Initialize(v8_thread_pool_size);
  // 熟悉的v8初始化函式
  V8::Initialize();
  // ..
  const int exit_code =
    Start(uv_default_loop(), argc, argv, exec_argc, exec_argv);
}

上面函式只保留了一些關鍵不走,先來看看PlatformInit

PlatfromInit

unix中將一切都看作檔案,程式啟動時會預設開啟三個i/o裝置檔案,也就是stdin stdout stderr,預設會分配0 1 2三個描述符出去,對應的檔案描述符常量為STDIN_FILENO STDOUT_FILENO STDERR_FILENO,而windows中沒有檔案描述符的這個概念,對應的是控制程式碼,PlatformInit首先是檢查是否將這個三個檔案描述符已經分配出去,若沒有,則利用open("/dev/null", O_RDWR)分配出去,對於windows做了同樣的操作,分配控制程式碼出去,而且windows只做了這一個操作;對於unix來說還會針對SIGINT(使用者呼叫Ctrl-C時發出)和SIGTERMSIGTERMSIGKILL類似,但是不同的是該訊號可以被阻塞和處理,要求程式自己退出)訊號來做一些特殊處理,這個處理與正常退出時一樣;另一個重要的事情就是下面這段程式碼:

  struct rlimit lim;
  // soft limit 不等於 hard limit, 意味著可以增加
  if (getrlimit(RLIMIT_NOFILE, &lim) == 0 && lim.rlim_cur != lim.rlim_max) {
    // Do a binary search for the limit.
    rlim_t min = lim.rlim_cur;
    rlim_t max = 1 << 20;
    // But if there`s a defined upper bound, don`t search, just set it.
    if (lim.rlim_max != RLIM_INFINITY) {
      min = lim.rlim_max;
      max = lim.rlim_max;
    }
    do {
      lim.rlim_cur = min + (max - min) / 2;
      // 對於mac來說 hard limit 為unlimited
      // 但是核心有限制最大的檔案描述符,超過這個限制則設定失敗
      if (setrlimit(RLIMIT_NOFILE, &lim)) {
        max = lim.rlim_cur;
      } else {
        min = lim.rlim_cur;
      }
    } while (min + 1 < max);
  }

這個件事情也就是提高一個程式允許開啟的最大檔案描述符,但是在mac上非常的奇怪,執行ulimit -H -n得到hard limitunlimited,所以我認為mac上的最大檔案描述符會被設定為1 << 20,但是最後經過實驗發現最大隻能為24576,非常的詭異,最後經過一頓搜尋,查到了原來mac的核心對能開啟的檔案描述符也有限制,可以用sysctl -A | grep kern.maxfiles進行檢視,果然這個數字就是24576
clipboard.png

Init

Init函式呼叫了RegisterBuiltinModules

// node.cc
void RegisterBuiltinModules() {
#define V(modname) _register_##modname();
  NODE_BUILTIN_MODULES(V)
#undef V
}

// node_internals.h
#define NODE_BUILTIN_MODULES(V)                                               
  NODE_BUILTIN_STANDARD_MODULES(V)                                            
  NODE_BUILTIN_OPENSSL_MODULES(V)                                             
  NODE_BUILTIN_ICU_MODULES(V)

從名字也可以看出上面的過程是進行c++模組的初始化,node利用了一些巨集定義的方式,主要關注NODE_BUILTIN_STANDARD_MODULES這個巨集:

#define NODE_BUILTIN_STANDARD_MODULES(V)                                      
    V(async_wrap)                                                             
    V(buffer)
    ...

結合上面的定義,可以得出編譯後的程式碼大概為:

void RegisterBuiltinModules() {
  _register_async_wrap();
  _register_buffer();
}

而這些_register又是從哪裡來的呢?以buffer來說,對應c++檔案為src/node_buffer.cc,來看這個檔案的最後一行,第二個引數是模組的初始化函式:

NODE_BUILTIN_MODULE_CONTEXT_AWARE(buffer, node::Buffer::Initialize)

這個巨集存在於node_internals.h中:

#define NODE_MODULE_CONTEXT_AWARE_CPP(modname, regfunc, priv, flags)
  static node::node_module _module = {
    NODE_MODULE_VERSION,                                                      
    flags,                                                                    
    nullptr,                                                                  
    __FILE__,                                                                  
    nullptr,                                                                   
    (node::addon_context_register_func) (regfunc),// 暴露給js使用的模組的初始化函式
    NODE_STRINGIFY(modname),                                                 
    priv,                                                                     
    nullptr                                                                   
  };                                                                          
  void _register_ ## modname() {                                              
    node_module_register(&_module);                                           
  }


#define NODE_BUILTIN_MODULE_CONTEXT_AWARE(modname, regfunc)                   
  NODE_MODULE_CONTEXT_AWARE_CPP(modname, regfunc, nullptr, NM_F_BUILTIN)

發現呼叫的_register_buffer實質上呼叫的是node_module_register(&_module),每一個c++模組對應的為一個node_module結構體,再來看看node_module_register發生了什麼:

extern "C" void node_module_register(void* m) {
  struct node_module* mp = reinterpret_cast<struct node_module*>(m);

  if (mp->nm_flags & NM_F_BUILTIN) {
    mp->nm_link = modlist_builtin;
    modlist_builtin = mp;
  }
  ...
}

由此可以見,c++模組被儲存在了一個連結串列中,後面process.binding()本質上就是在這個連結串列中查詢對應c++模組,node_module是連結串列中的一個節點,除此之外Init還初始化了一些變數,這些變數基本上都是取決於環境變數用getenv獲得即可

v8初始化

到執行完Init為止,還沒有涉及的jsc++的互動,在將一些環境初始化之後,就要開始用v8這個大殺器了,v8_platform是一個結構體,可以理解為是node對於v8v8::platform一個封裝,緊接著的就是對v8進行初始化,自此開始具備了與js進行互動的能力,初始化v8之後,建立了一個libuv事件迴圈就進入了下一個Start函式

第二個Start函式

inline int Start(uv_loop_t* event_loop,
                 int argc, const char* const* argv,
                 int exec_argc, const char* const* exec_argv) {
  std::unique_ptr<ArrayBufferAllocator, decltype(&FreeArrayBufferAllocator)>
      allocator(CreateArrayBufferAllocator(), &FreeArrayBufferAllocator);
  Isolate* const isolate = NewIsolate(allocator.get());
  // ...
  {
    Locker locker(isolate);
    Isolate::Scope isolate_scope(isolate);
    HandleScope handle_scope(isolate);
  }
}

首先建立了一個v8Isolate(隔離),隔離在v8中非常常見,彷彿和程式一樣,不同隔離不共享資源,有著自己得堆疊,但是正是因為這個原因在多執行緒的情況下,要是對每一個執行緒都建立一個隔離的話,那麼開銷會非常的大(可喜可賀的是node有了worker_threads),這時候可以藉助Locker來進行同步,同時也保證了一個Isolate同一時刻只能被一個執行緒使用;下面兩行就是v8的常規套路,下一步一般就是建立一個Context(最簡化的一個流程可以參見v8hello world),HandleScope叫做控制程式碼作用域,一般都是放在函式的開頭,來管理函式建立的一些控制程式碼(水平有限,暫時不深究,先挖個坑);第二個Start的主要流程就是這個,下面就會進入最後一個Start函式,這個函式可以說是非常的關鍵,會揭開所有的謎題

解開謎題

inline int Start(Isolate* isolate, IsolateData* isolate_data,
                 int argc, const char* const* argv,
                 int exec_argc, const char* const* exec_argv) {
  HandleScope handle_scope(isolate);
  // 常規套路
  Local<Context> context = NewContext(isolate);
  Context::Scope context_scope(context);
  Environment env(isolate_data, context, v8_platform.GetTracingAgentWriter());
  env.Start(argc, argv, exec_argc, exec_argv, v8_is_profiling);
  // ...

可以見到v8的常見套路,建立了一個上下文,這個上下文就是js的執行環境,Context::Scope是用來管理這個ContextEnvironment可以理解為一個node的執行環境,記錄了isolate,event loop等,Start的過程主要是做了一些libuv的初始化以及process物件的定義:

  auto process_template = FunctionTemplate::New(isolate());
  process_template->SetClassName(FIXED_ONE_BYTE_STRING(isolate(), "process"));

  auto process_object =
      process_template->GetFunction()->NewInstance(context()).ToLocalChecked();
  set_process_object(process_object);

  SetupProcessObject(this, argc, argv, exec_argc, exec_argv);

SetupProcessObject生成了一個c++層面上的process物件,這個已經基本上和平時node中的process物件一致,但是還會有一些出入,比如沒有binding等,完成了這個過程之後就開始了LoadEnvironment

LoadEnvironment

Local<String> loaders_name =
    FIXED_ONE_BYTE_STRING(env->isolate(), "internal/bootstrap/loaders.js");
MaybeLocal<Function> loaders_bootstrapper =
    GetBootstrapper(env, LoadersBootstrapperSource(env), loaders_name);
Local<String> node_name =
    FIXED_ONE_BYTE_STRING(env->isolate(), "internal/bootstrap/node.js");
MaybeLocal<Function> node_bootstrapper =
    GetBootstrapper(env, NodeBootstrapperSource(env), node_name);

先將lib/internal/bootstrap資料夾下的兩個檔案讀進來,然後利用GetBootstrapper來執行js程式碼分別得到了一個函式,一步步來看,先看看GetBootstrapper為什麼可以執行js程式碼,檢視這個函式可以發現主要是因為ExecuteString

MaybeLocal<v8::Script> script =
    v8::Script::Compile(env->context(), source, &origin);
...
MaybeLocal<Value> result = script.ToLocalChecked()->Run(env->context());

這個主要利用了v8的能力,對js檔案進行了解析和執行,開啟loaders.js看看其引數,需要五個,撿兩個最重要的來說,分別是processgetBinding,這裡面往後繼續看LoadEnvironment發現process物件就是剛剛生成的,而getBinding是函式GetBinding

node_module* mod = get_builtin_module(*module_v);
Local<Object> exports;
if (mod != nullptr) {
  exports = InitModule(env, mod, module);
} else if (!strcmp(*module_v, "constants")) {
  exports = Object::New(env->isolate());
  CHECK(exports->SetPrototype(env->context(),
                              Null(env->isolate())).FromJust());
  DefineConstants(env->isolate(), exports);
} else if (!strcmp(*module_v, "natives")) { // NativeModule _source
  exports = Object::New(env->isolate());
  DefineJavaScript(env, exports);
} else {
  return ThrowIfNoSuchModule(env, *module_v);
}

args.GetReturnValue().Set(exports);

其作用就是根據傳參來初始化指定的模組,當然也有比較特殊的兩個分別是constantsnatives(後面再看),get_builtin_module呼叫的就是FindModule,還記得之前在Init過程中將模組都註冊到的連結串列嗎?FindModule就是遍歷這個連結串列找到相應的模組:

struct node_module* mp;
for (mp = list; mp != nullptr; mp = mp->nm_link) {
  if (strcmp(mp->nm_modname, name) == 0)
    break;
}

InitModule就是呼叫之前註冊模組定義的初始化函式,還以buffer看的話,就是執行node::Buffer::Initialize函式,開啟著函式來看和平時寫addon的方式一樣,也會暴露一個物件出來供js呼叫;LoadEnvironment下面就是將process, GetBinding等作為傳入傳給上面生成好的函式並且利用v8來執行,來到了大家熟悉的領域,來看看loaders.js

const moduleLoadList = [];
ObjectDefineProperty(process, `moduleLoadList`, {
  value: moduleLoadList,
  configurable: true,
  enumerable: true,
  writable: false
});

定義了一個已經載入的Module的陣列,也可以在node通過process.moduleLoadList來看看載入了多少的原生模組進來

process.binding

process.binding = function binding(module) {
  module = String(module);
  let mod = bindingObj[module];
  if (typeof mod !== `object`) {
    mod = bindingObj[module] = getBinding(module);
    moduleLoadList.push(`Binding ${module}`);
  }
  return mod;
};

終於到了這個方法,翻看lib中的js檔案,有著非常多的這種呼叫,這個函式就是對GetBinding做了一個js層面的封裝,做的無非是檢視一下這個模組是否已經載入完成了,是的話直接返回回去,不需要再次初始化了,所以利用prcoess.binding載入了對應的c++模組(可以執行一下process.binding(`buffer`),然後再去node_buffer.cc中看看)繼續向下看,會發現定義了一個class就是NativeModule,發現其有一個靜態屬性:

載入js

NativeModule._source = getBinding(`natives`);

返回到GetBinding函式,看到的是一個if分支就是這種情況:

exports = Object::New(env->isolate());
DefineJavaScript(env, exports);

來看看DefineJavaScript發生了什麼樣的事情,這個函式發現只能在標頭檔案(node_javascript.h)裡面找到,但是根本找不到具體的實現,這是個什麼鬼???去翻一下node.gyp檔案發現這個檔案是用js2c.py這個檔案生成的,去看一下這個python檔案,可以發現許多的程式碼模板,每一個模板都是用Render返回的,data引數就是js檔案的內容,最終會被轉換為c++中的byte陣列,同時定義了一個將其轉換為字串的方法,那麼問題來了,這些檔案都是那些呢?答案還是在node.gyp中,就是library_files陣列,發現包含了lib下的所有的檔案和一些dep下的js檔案,DefineJavaScript這個檔案做的就是將待執行的js程式碼註冊下,所以NativeModule._source中儲存的是一些待執行的js程式碼,來看一下NativeModule.require

NativeModule

const cached = NativeModule.getCached(id);
if (cached && (cached.loaded || cached.loading)) {
  return cached.exports;
}
moduleLoadList.push(`NativeModule ${id}`);

const nativeModule = new NativeModule(id);

nativeModule.cache();
nativeModule.compile();

return nativeModule.exports;

可以發現NativeModule也有著快取的策略,require先把其放到_cache中再次require就不會像第一次那樣執行這個模組,而是直接用快取中執行好的,後面說的Module與其同理,看一下compile的實現:

let source = NativeModule.getSource(this.id);
source = NativeModule.wrap(source);

NativeModule.wrap = function(script) {
  return NativeModule.wrapper[0] + script + NativeModule.wrapper[1];
};
NativeModule.wrapper = [
  `(function (exports, require, module, process) {`,
  `
});`
];

首先從_source中取出相應的模組,然後對這個模組進行包裹成一個函式,執行函式用的是什麼呢?

const script = new ContextifyScript(
  source, this.filename, 0, 0,
  codeCache[this.id], false, undefined
);

this.script = script;
const fn = script.runInThisContext(-1, true, false);
const requireFn = this.id.startsWith(`internal/deps/`) ?
  NativeModule.requireForDeps :
  NativeModule.require;
fn(this.exports, requireFn, this, process);

本質上就是呼叫了vm編譯自婦產得到函式,然後給其傳入了一些引數並執行,this.exports就是一個物件,require區分了一下是否載入node依賴的js檔案,this也就是引數module,這也說明了兩者的關係,exports就是module的一個屬性,也解釋了為什麼exports.xx之後再指定module.exports = yy會將xx忽略掉,還記得LoadEnvironment嗎?bootstrap/loaders.js執行完之後執行了bootstrap/node.js,可以說這個檔案是node真正的入口,比如定義了global物件上的屬性,比如console setTimeout等,由於篇幅有限,來挑一個最常用的場景,來看看這個是什麼一回事:

else if (process.argv[1] && process.argv[1] !== `-`) {
  const path = NativeModule.require(`path`);
  process.argv[1] = path.resolve(process.argv[1]);

  const CJSModule = NativeModule.require(`internal/modules/cjs/loader`);
  ...
  CJSModule.runMain();
}

這個過程就是熟悉的node index.js這個過程,可以看到的對於開發者自己的js來說,在node中對應的classModule,相信這個檔案大家很多人都瞭解,與NativeModule相類似,不同的是,需要進行路徑的解析和模組的查詢等,來大致的看一下這個檔案,先從上面呼叫的runMain來看:

if (experimentalModules) {
  // ...
} else {
  Module._load(process.argv[1], null, true);
}

Module

node中開啟--experimental-modules可以載入es模組,也就是可以不用babel轉義就可以使用import/export啦,這個不是重點,重點來看普通的commonnjs模組,process.argv[1]一般就是要執行的入口檔案,下面看看Module._load

Module._load = function(request, parent, isMain) {
  if (parent) {
    debug(`Module._load REQUEST %s parent: %s`, request, parent.id);
  }
  // 查詢檔案具體位置
  var filename = Module._resolveFilename(request, parent, isMain);

  // 存在快取,則不需要再次執行
  var cachedModule = Module._cache[filename];
  if (cachedModule) {
    updateChildren(parent, cachedModule, true);
    return cachedModule.exports;
  }

  // 載入node原生模組,原生模組不需要快取,因為NativeModule中也存在快取
  if (NativeModule.nonInternalExists(filename)) {
    debug(`load native module %s`, request);
    return NativeModule.require(filename);
  }

  // 載入並執行一個模組
  var module = new Module(filename, parent);

  if (isMain) {
    process.mainModule = module;
    module.id = `.`;
  }

  Module._cache[filename] = module;

  // 呼叫load方法進行載入
  tryModuleLoad(module, filename);

  return module.exports;
};

這裡看每一個Module有一個parent的屬性,假如a.js中引入了b.js,那麼Module bparent就是Module a,利用resolveFilename可以得到檔案具體的位置,這個過程而後呼叫load函式來載入檔案,可以看到的是區分了幾種型別,分別是.js .json .node,對應的.js是讀檔案然後執行,.json是直接讀檔案後JSON.parse一下,.node是呼叫dlopenModule.compileNativeModule.compile相類似都是想包裹一層成為函式,然後呼叫了vm編譯得到這個函式,最後傳入引數來執行,對於Module來說,包裹的程式碼如下:

Module.wrapper = [
  `(function (exports, require, module, __filename, __dirname) { `,
  `
});`
];

執行完上述過程後,前期工作就已經做得比較充分了,再次回到最後一個Start函式來看,從程式碼中可以看到開始了nodeevent loop,這就是node的初始化過程,關於event loop需要對libuv有一定的瞭解,可以說node真正離不開的是libuv,具體這方面的東西,可以繼續關注我後面的文章

總結

總結一下這個過程,以首次載入沒有任何快取的情況開看:require(`fs`),先是呼叫了Module.require,而後發現為原生模組,於是呼叫NativeModule.require,從NativeModule._sourcelib/fs的內容拿出來包裹一下然後執行,這個檔案第一行就可以看到process.binding,這個本質上是載入原生的c++模組,這個模組在初始化的時候將其註冊到了一個連結串列中,載入的過程就是將其拿出來然後執行

以上內容如果有錯誤的地方,還請大佬指出,萬分感激,另外一件重要的事情就是:我所在團隊也在招人,如果有興趣可以將簡歷發至zhoupeng.1996@bytedance.com

相關文章