JavaScript Token是什麼意思

admin發表於2018-01-23

一些JavaScript文章中,會看到Token名詞的出現,例如:

a:3:{s:3:\"pic\";s:43:\"portal/201703/29/155705s22jet1eesztgmss.jpg\";s:5:\"thumb\";s:0:\"\";s:6:\"remote\";N;}

如果對於Token不理解,那麼就無法明白上面語句所表達的意思。

一.詞法分析:

此法分析是電腦科學中,將字元序列轉換為單詞(Token)序列的過程。

進行詞法分析的程式或者函式叫作詞法分析器(Lexical analyzer,簡稱Lexer),也叫掃描器(Scanner)。

詞法分析器一般以函式的形式存在,供語法分析器呼叫。

二此法分析中單詞的概念:

上面概念中的單詞(Token)是一個字串,構成原始碼的最小單位。

從輸入字元流中生成單詞的過程叫作單詞化(Tokenization),在這個過程中,詞法分析器還會對單詞進行分類。

詞法分析器通常不關心單詞之間的關係(屬於語法分析的範疇)。

比如,詞法分析器能夠將括號識別為單詞,但並不保證括號是否匹配。

三.程式碼分析:

簡單的程式碼如下:

[JavaScript] 純文字檢視 複製程式碼
var sum=3+2;

將其單詞化後可以得到下表內容:

語素單詞型別
var變數宣告關鍵字
sum識別符號
=賦值操作符
3數字
+加法運算子
2數字
;語句結束

上面雖然不是正面介紹Token的作用,但是已經足以說明它是一個什麼概念了。

相關文章