1. vmlinux.lds
首先分析 Linux 核心的連線指令碼檔案 arch/arm/kernel/vmlinux.lds，通過連結指令碼可以找到 Linux 核心的第一行程式是從哪裡執行的:
第 493 行的 ENTRY 指明瞭了 Linux 核心入口，入口為 stext，stext 定義在檔案arch/arm/kernel/head.S 中 ， 因 此 要 分 析 Linux 核心的啟動流程，就得先從檔案arch/arm/kernel/head.S 的 stext 處開始分析
2. 核心啟動流程分析
2.1 核心入口stext
stext 是 Linux 核心的入口地址，在檔案 arch/arm/kernel/head.S 中有如下所示提示內容
如圖可知：如果要啟動Linux，啟動要求如下：
- 關閉 MMU。
- 關閉 D-cache。
- I-Cache 無所謂。
- r0=0。
- r1=machine nr(也就是機器 ID)。
- r2=atags 或者裝置樹(dtb)首地址。
Linux 核心的入口點 stext 其實相當於核心的入口函式，stext 函式內容如下：
proc_info_list 在檔案arch/arm/include/asm/procinfo.h 中的定義如下：
struct proc_info_list {
unsigned int cpu_val;
unsigned int cpu_mask;
unsigned long __cpu_mm_mmu_flags; /* used by head.S */
unsigned long __cpu_io_mmu_flags; /* used by head.S */
unsigned long __cpu_flush; /* used by head.S */
const char *arch_name;
const char *elf_name;
unsigned int elf_hwcap;
const char *cpu_name;
struct processor *proc;
struct cpu_tlb_fns *tlb;
struct cpu_user_fns *user;
struct cpu_cache_fns *cache;
};
Linux 核心將每種處理器都抽象為一個 proc_info_list 結構體，每種處理器都對應一個procinfo。因此可以通過處理器 ID 來找到對應的 procinfo 結構__lookup_processor_type 函式找到對應處理器的 procinfo 以後會將其儲存到 r5 暫存器中
繼續回到原始碼：
2.2 __mmap_switched函式
2.3 start_kernel函式
start_kernel 通過呼叫眾多的子函式來完成 Linux 啟動之前的一些初始化工作，由於start_kernel 函式裡面呼叫的子函式太多，而這些子函式又很複雜，因此我們簡單的來看一些重要的子函式。精簡併新增註釋後的 start_kernel 函式內容如下：
asmlinkage __visible void __init start_kernel(void)
{
char *command_line;
char *after_dashes;
/*
* Need to run as early as possible, to initialize the
* lockdep hash:
*/
lockdep_init(); //死鎖檢測模組，兩個Hash表，此函式要儘早執行
set_task_stack_end_magic(&init_task); //任務棧結束魔術數，用於檢測棧溢位
smp_setup_processor_id();//跟 SMP 有關(多核處理器)，設定處理器 ID
debug_objects_early_init(); //debug初始化
/*
* Set up the the initial canary ASAP:
*/
boot_init_stack_canary(); //棧溢位檢測初始化
cgroup_init_early(); // cgroup初始化，cgroup用於檢測linux系統資源
local_irq_disable(); // 關閉當前cpu中斷
early_boot_irqs_disabled = true; //
/*
* Interrupts are still disabled. Do necessary setups, then
* enable them
*/
boot_cpu_init(); // CPU有關初始化
page_address_init(); // 頁地址初始化
pr_notice("%s", linux_banner); // 列印linux版本號和編譯時間等資訊
setup_arch(&command_line); /* 架構相關的初始化，此函式會解析傳遞進來的
* ATAGS 或者裝置樹(DTB)檔案。會根據裝置樹裡面
* 的 model 和 compatible 這兩個屬性值來查詢
* Linux 是否支援這個單板。此函式也會獲取裝置樹
* 中 chosen 節點下的 bootargs 屬性值來得到命令
* 行引數，也就是 uboot 中的 bootargs 環境變數的
* 值，獲取到的命令列引數會儲存到
*command_line 中。
*/
mm_init_cpumask(&init_mm); // 記憶體相關初始化
setup_command_line(command_line); // 儲存命令列引數
setup_nr_cpu_ids(); // 如果是多核，此函式用於獲取CPU核心數量
setup_per_cpu_areas(); // 設定每個CPU的pre-cpu資料
smp_prepare_boot_cpu(); //
build_all_zonelists(NULL, NULL); // 建立系統記憶體頁區連結串列
page_alloc_init(); // 處理用於CPU熱插拔的頁
/* 列印命令列資訊 */
pr_notice("Kernel command line: %s\n", boot_command_line); //
parse_early_param(); // 解釋命令列中console引數
after_dashes = parse_args("Booting kernel", //
static_command_line, __start___param,
__stop___param - __start___param,
-1, -1, &unknown_bootoption);
if (!IS_ERR_OR_NULL(after_dashes)) //
parse_args("Setting init args", after_dashes, NULL, 0, -1, -1,
set_init_arg); //
jump_label_init(); //
/*
* These use large bootmem allocations and must precede
* kmem_cache_init()
*/
setup_log_buf(0); // 設定log使用的緩衝區
pidhash_init(); // 構建PID雜湊表
vfs_caches_init_early(); // 預先初始化 vfs(虛擬檔案系統)的目錄項和索引節點快取
sort_main_extable(); // 定義核心異常列表
trap_init(); // 完成對系統保留中斷向量的初始化
mm_init(); // 記憶體管理初始化
/*
* Set up the scheduler prior starting any interrupts (such as the
* timer interrupt). Full topology setup happens at smp_init()
* time - but meanwhile we still have a functioning scheduler.
*/
sched_init(); // 初始化排程器，主要初始化一些結構體
/*
* Disable preemption - early bootup scheduling is extremely
* fragile until we cpu_idle() for the first time.
*/
preempt_disable(); // 關閉優先順序搶佔
if (WARN(!irqs_disabled(), // 檢查中斷是否關閉
"Interrupts were enabled *very* early, fixing it\n"))
local_irq_disable(); // 沒關閉就關閉中斷
idr_init_cache(); // IDR 初始化，IDR 是 Linux 核心的整數管理機制，也就是將一個整數 ID 與一個指標關聯起來
rcu_init(); // 初始化 RCU，RCU 全稱為 Read Copy Update(讀-拷貝修改
/* trace_printk() and trace points may be used after this */
trace_init(); // 跟蹤除錯相關初始化
context_tracking_init(); //
radix_tree_init(); // 基數樹相關資料結構初始化
/* init some links before init_ISA_irqs() */
early_irq_init(); // 初始中斷相關初始化,主要是註冊 irq_desc 結構體變數，因為 Linux 核心使用 irq_desc 來描述一箇中斷。
init_IRQ(); // 中斷初始化
tick_init(); // tick 初始化
rcu_init_nohz(); //
init_timers(); // 初始化定時器
hrtimers_init(); // 初始化高精度定時器
softirq_init(); // 初始化軟中端
timekeeping_init(); //
time_init(); // 初始化系統時間
sched_clock_postinit(); //
perf_event_init(); //
profile_init(); //
call_function_init(); //
WARN(!irqs_disabled(), "Interrupts were enabled early\n"); //
early_boot_irqs_disabled = false; //
local_irq_enable(); // 使能中斷
kmem_cache_init_late(); // slab 初始化，slab 是 Linux 記憶體分配器
/*
* HACK ALERT! This is early. We're enabling the console before
* we've done PCI setups etc, and console_init() must be aware of
* this. But we do want output early, in case something goes wrong.
*/
console_init(); // /* 初始化控制檯，之前 printk 列印的資訊都存放
* 緩衝區中，並沒有列印出來。只有呼叫此函式
* 初始化控制檯以後才能在控制檯上列印資訊。
*/
if (panic_later)
panic("Too many boot %s vars at `%s'", panic_later,
panic_param); //
lockdep_info(); // 如果定義了巨集 CONFIG_LOCKDEP，那麼此函式列印一些資訊。
/*
* Need to run this when irqs are enabled, because it wants
* to self-test [hard/soft]-irqs on/off lock inversion bugs
* too:
*/
locking_selftest(); // 鎖自測
#ifdef CONFIG_BLK_DEV_INITRD
if (initrd_start && !initrd_below_start_ok &&
page_to_pfn(virt_to_page((void *)initrd_start)) < min_low_pfn) {
pr_crit("initrd overwritten (0x%08lx < 0x%08lx) - disabling it.\n",
page_to_pfn(virt_to_page((void *)initrd_start)),
min_low_pfn);
initrd_start = 0;
}
#endif
page_ext_init(); //
debug_objects_mem_init(); //
kmemleak_init(); // kmemleak 初始化，kmemleak 用於檢查記憶體洩漏
setup_per_cpu_pageset(); //
numa_policy_init(); //
if (late_time_init)
late_time_init(); //
sched_clock_init(); //
calibrate_delay(); // 測定 BogoMIPS 值，可以通過 BogoMIPS 來判斷 CPU 的效能 BogoMIPS 設定越大，說明 CPU 效能越好。
pidmap_init(); // PID 點陣圖初始化
anon_vma_init(); // 生成 anon_vma slab 快取
acpi_early_init(); //
#ifdef CONFIG_X86
if (efi_enabled(EFI_RUNTIME_SERVICES))
efi_enter_virtual_mode();
#endif
#ifdef CONFIG_X86_ESPFIX64
/* Should be run before the first non-init thread is created */
init_espfix_bsp();
#endif
thread_info_cache_init(); //
cred_init(); // 為物件的每個用於賦予資格(憑證）
fork_init(); // 初始化一些結構體以使用 fork 函式
proc_caches_init(); // 給各種資源管理結構分配快取
buffer_init(); // 初始化緩衝快取
key_init(); // 初始化祕鑰
security_init(); // 安全相關初始化
dbg_late_init(); //
vfs_caches_init(totalram_pages); // 為 VFS 建立快取
signals_init(); // 初始化訊號
/* rootfs populating might need page-writeback */
page_writeback_init(); // 頁回寫初始化
proc_root_init(); // 註冊並掛載proc檔案系統
nsfs_init(); //
cpuset_init(); // 初始化 cpuset，cpuset 是將 CPU 和記憶體資源以邏輯性和層次性整合的一種機制，是 cgroup 使用的子系統之一
cgroup_init(); // 初始化 cgroup
taskstats_init_early(); // 程式狀態初始化
delayacct_init(); //
check_bugs(); // 檢查寫緩衝一致性
acpi_subsystem_init(); //
sfi_init_late(); //
if (efi_enabled(EFI_RUNTIME_SERVICES)) {
efi_late_init(); //
efi_free_boot_services(); //
}
ftrace_init(); //
/* Do the rest non-__init'ed, we're now alive */
rest_init(); //
}
函式的最後呼叫了reset_init
2.4 reset_init函式
這個函式裡面介紹了面試常問的PID 0 1 2程式（到現在還只是不太明白）
static noinline void __init_refok rest_init(void)
{
int pid;
rcu_scheduler_starting(); //啟動RCU鎖排程器
smpboot_thread_init();
/*
* We need to spawn init first so that it obtains pid 1, however
* the init task will end up wanting to create kthreads, which, if
* we schedule it before we create kthreadd, will OOPS.
*/
// 呼叫函式 kernel_thread 建立 kernel_init 程式，也就是大名鼎鼎的 init 核心程式。
// init 程式的 PID 為 1。init 程式一開始是核心程式(也就是執行在核心態)，後面 init 程式會在根
// 檔案系統中查詢名為“init”這個程式，這個“init”程式處於使用者態，通過執行這個“init”程
// 序，init 程式就會實現從核心態到使用者態的轉變。
kernel_thread(kernel_init, NULL, CLONE_FS);
numa_default_policy();
// 呼叫函式 kernel_thread 建立 kthreadd 核心程式，此核心程式的 PID 為 2。kthreadd
// 程式負責所有核心程式的排程和管理
pid = kernel_thread(kthreadd, NULL, CLONE_FS | CLONE_FILES);
rcu_read_lock();
kthreadd_task = find_task_by_pid_ns(pid, &init_pid_ns);
rcu_read_unlock();
complete(&kthreadd_done);
/*
* The boot idle thread must execute schedule()
* at least once to get things moving:
*/
init_idle_bootup_task(current);
schedule_preempt_disabled();
/* Call into cpu_idle with preempt disabled */
// 呼叫函式 cpu_startup_entry 來進入 idle 程式，cpu_startup_entry 會呼叫
// cpu_idle_loop，cpu_idle_loop 是個 while 迴圈，也就是 idle 程式程式碼。idle 程式的 PID 為 0，idle
// 程式叫做空閒程式，如果學過 FreeRTOS 或者 UCOS 的話應該聽說過空閒任務。idle 空閒程式
// 就和空閒任務一樣，當 CPU 沒有事情做的時候就在 idle 空閒程式裡面“瞎逛遊”，反正就是給
// CPU 找點事做。當其他程式要工作的時候就會搶佔 idle 程式，從而奪取 CPU 使用權。其實大
// 家應該可以看到 idle 程式並沒有使用 kernel_thread 或者 fork 函式來建立，因為它是有主程式演
// 變而來的， idle 程式是核心程式
cpu_startup_entry(CPUHP_ONLINE);
}
2.5 init程式
static int __ref kernel_init(void *unused)
{
int ret;
kernel_init_freeable(); /* init 程式的一些其他初始化工作 */
/* need to finish all async __init code before freeing the memory */
async_synchronize_full();/* 等待所有的非同步呼叫執行完成 */
free_initmem();/* 釋放 init 段記憶體 */
mark_rodata_ro();
system_state = SYSTEM_RUNNING;/* 標記系統正在執行 */
numa_default_policy();
flush_delayed_fput();
// ramdisk_execute_command 是一個全域性的 char 指標變數，此變數值為“/init”，
// 也就是根目錄下的 init 程式。ramdisk_execute_command 也可以通過 uboot 傳遞，在 bootargs 中
// 使用“rdinit=xxx”即可，xxx 為具體的 init 程式名字
if (ramdisk_execute_command) {
ret = run_init_process(ramdisk_execute_command);
if (!ret)
return 0;
pr_err("Failed to execute %s (error %d)\n",
ramdisk_execute_command, ret);
}
/*
* We try each of these until one succeeds.
*
* The Bourne shell can be used instead of init if we are
* trying to recover a really broken machine.
*/
// 如果 ramdisk_execute_command 為空的話就看 execute_command 是否為空，反
// 正不管如何一定要在根檔案系統中找到一個可執行的 init 程式。execute_command 的值是通過
// uboot 傳遞，在 bootargs 中使用“init=xxxx”就可以了，比如“init=/linuxrc”表示根檔案系統中
// 的 linuxrc 就是要執行的使用者空間 init 程式
if (execute_command) {
ret = run_init_process(execute_command);
if (!ret)
return 0;
panic("Requested init %s failed (error %d).",
execute_command, ret);
}
// 如果 ramdisk_execute_command 和 execute_command 都為空，那麼就依次
// 查詢“/sbin/init”、“/etc/init”、“/bin/init”和“/bin/sh”，這四個相當於備用 init 程式，如果這四
// 個也不存在，那麼 Linux 啟動失敗！
// 如果以上步驟都沒有找到使用者空間的 init 程式，那麼就提示錯誤發生
if (!try_to_run_init_process("/sbin/init") ||
!try_to_run_init_process("/etc/init") ||
!try_to_run_init_process("/bin/init") ||
!try_to_run_init_process("/bin/sh"))
return 0;
panic("No working init found. Try passing init= option to kernel. "
"See Linux Documentation/init.txt for guidance.");
}
簡單看一下 kernel_init_freeable 函式，前面說了，kernel_init 會呼叫此函式來做一些init 程式初始化工作。kernel_init_freeable 定義在檔案 init/main.c 中，縮減後的函式內容如下:
static noinline void __init kernel_init_freeable(void)
{
/*
* Wait until kthreadd is all set-up.
*/
wait_for_completion(&kthreadd_done);/* 等待 kthreadd 程式準備就緒 */
/* Now the scheduler is fully set up and can do blocking allocations */
gfp_allowed_mask = __GFP_BITS_MASK;
/*
* init can allocate pages on any node
*/
set_mems_allowed(node_states[N_MEMORY]);
/*
* init can run on any cpu.
*/
set_cpus_allowed_ptr(current, cpu_all_mask);
cad_pid = task_pid(current);
smp_prepare_cpus(setup_max_cpus);
do_pre_smp_initcalls();
lockup_detector_init();
smp_init();/* SMP 初始化 */
sched_init_smp();/* 多核(SMP)排程初始化 */
do_basic_setup();/* 裝置初始化都在此函式中完成 */
//do_basic_setup 會呼叫 driver_init 函式完成 Linux 下驅動模型子系統的初始化
/* Open the /dev/console on the rootfs, this should never fail */
// 開啟裝置“/dev/console”，在 Linux 中一切皆為檔案！因此“/dev/console”也
// 是一個檔案，此檔案為控制檯裝置。每個檔案都有一個檔案描述符，此處開啟的“/dev/console”
// 檔案描述符為 0，作為標準輸入(0)
if (sys_open((const char __user *) "/dev/console", O_RDWR, 0) < 0)
pr_err("Warning: unable to open an initial console.\n");
// sys_dup 函式將標準輸入(0)的檔案描述符複製了 2 次，一個作為標準
// 輸出(1)，一個作為標準錯誤(2)。這樣標準輸入、輸出、錯誤都是/dev/console 了。console 通過
// uboot 的 bootargs 環境變數設定，“console=ttymxc0,115200”表示將/dev/ttymxc0 設定為 console，
// 也就是 I.MX6U 的串列埠 1。當然，也可以設定其他的裝置為 console，比如虛擬控制檯 tty1，設
// 置 tty1 為 console 就可以在 LCD 螢幕上看到系統的提示資訊
(void) sys_dup(0);
(void) sys_dup(0);
/*
* check if there is an early userspace init. If yes, let it do all
* the work
*/
if (!ramdisk_execute_command)
ramdisk_execute_command = "/init";
if (sys_access((const char __user *) ramdisk_execute_command, 0) != 0) {
ramdisk_execute_command = NULL;
// 呼叫函式 prepare_namespace 來掛載根檔案系統。跟檔案系統也是由命令列參
// 數指定的，也就是 uboot 的 bootargs 環境變數。比如“root=/dev/mmcblk1p2 rootwait rw”就表示
// 根檔案系統在/dev/mmcblk1p2 中，也就是 EMMC 的分割槽 2 中
prepare_namespace();
}
/*
* Ok, we have completed the initial bootup, and
* we're essentially up and running. Get rid of the
* initmem segments and start the user-mode stuff..
*
* rootfs is available now, try loading the public keys
* and default modules
*/
integrity_load_keys();
load_default_modules();
}