在現代製造業中，精準的缺陷檢測不僅是保證產品質量的關鍵，更是提升生產效率的核心。然而，現有的缺陷檢測資料集常常缺乏實際應用所需的精確度和語義豐富性，導致模型無法識別具體的缺陷類別或位置。
為了解決這一難題，由香港科技大學廣州和思謀科技組成的頂尖研究團隊，創新性地開發出了“Defect Spectrum”資料集，為工業缺陷提供了詳盡、語義豐富的大規模標註。如表一所示，相比其他工業資料集，“Defect Spectrum”資料集提供了最多的缺陷標註（5438張缺陷樣本），最細緻的缺陷分類（125種缺陷類別），併為不同種類的缺陷都提供了畫素級的細緻標籤。此外，該資料集還為每一個缺陷樣本提供了精細的語言描述。具體的標註對比如圖一所示。
圖一：相比其他工業資料集，Defect Spectrum精準度更高，標註更豐富
表一：Defect Spectrum與其他現有資料集的數量，性質對比
“Defect Spectrum”基於最先進的擴散模型，推出了一種革命性的方法——“DefectGen”。透過利用極少量的工業缺陷資料生成影像與畫素級缺陷標籤，該方法顯著提升了工業缺陷檢測模型的效能，在多個行業標準資料集上（如MVTec AD、VISION、DAGM2007及Cotton-Fabric）實現了前所未有的效能突破。
這一突破性的研究不僅極大地提高了缺陷檢測的準確性，更為AI在複雜工業環境中的應用開闢了新的可能性。該專案的程式碼和模型已經全面開源。
- 論文：Defect Spectrum: A Granular Look of Large-Scale Defect Datasets with Rich Semantics
- 論文連結：https://arxiv.org/abs/2310.17316
- 專案連結: https://envision-research.github.io/Defect_Spectrum/
- Github Repo: https://github.com/EnVision-Research/Defect_Spectrum
- Dataset Repo: https://huggingface.co/datasets/DefectSpectrum/Defect_Spectrum
突破傳統的缺陷檢測限制，更加貼近落地生產
圖二：實際工業生產，缺陷檢測以及分析的閉環
在實際的工業生產中，我們對缺陷檢測的要求更加細緻，工廠需要在控制缺陷件的同時保證收益率，如圖二所示。然而，現有的缺陷檢測資料集常常缺乏實際應用所需的精確度和語義豐富性，例如一塊金屬板表面如果有較大面積的油漆剝落，儘管缺陷面積很大，但對金屬板的功能影響可能微乎其微。然而，如果金屬板內部有一條細小的裂縫，這條裂縫雖小如髮絲，卻可能在承受壓力時導致金屬板瞬間斷裂，顯著影響其效能，甚至引發嚴重的安全隱患。
更好比說，假設一件衣服的拉鍊齒出現了錯位，這種缺陷雖然看起來尺寸不大，甚至不容易被發現，但卻嚴重影響了衣物的功能，導致拉鍊無法正常使用，消費者不得不將其退回工廠進行修復。然而，如果缺陷發生在衣物的面料上，比如輕微的鉤絲或顏色略有差異，這時就需要仔細權衡其尺寸和影響。小規模的面料缺陷可以被歸類在可接受的範圍內，允許這些產品透過不同的分銷策略銷售，比如以打折價格進行銷售，從而保持產品流通而不影響整體質量標準。
在這一切背後，"Defect Spectrum"資料集就像一個全能的偵探，洞察一切。它不僅覆蓋了廣泛的工業缺陷型別，還為每一種缺陷提供了詳盡而豐富的描述。透過這個強大的工具，缺陷檢測系統能夠更加精確地識別和分類各種缺陷，不放過任何一個細節。
想象一下，在實際的生產線上，透過“Defect Spectrum”資料集的幫助，檢測系統能夠迅速識別出這個至關重要的缺陷，立即標記並返回工廠進行修復。同時，對於那些面料上輕微的缺陷或顏色差異，系統可以根據缺陷的詳細標註，判斷其是否在可接受範圍內，決定是否以打折價格銷售。這種靈活的處理方式，不僅提高了產品的質量，還保證了生產的高效和成本的控制。
傳統資料集如MVTEC和AeBAD儘管提供了畫素級的標註，但常常侷限於二元遮罩，無法細緻區分缺陷型別和位置。《Defect Spectrum》資料集透過與工業界四大基準的合作，重新評估並精細化已有的缺陷標註。例如，對細微的劃痕和凹坑進行了更精確的輪廓繪製，且透過專家的輔助填補了遺漏的缺陷，確保了標註的全面性和精確性。
創新的缺陷生成模型“Defect-Gen”
圖三：Defect-Gen兩階段生成流程示意圖
面對當前資料集中缺陷樣本不足的問題，我們提出了“Defect-Gen”，一個兩階段的擴散式生成器。這個生成器在樣本數量有限的情況下，透過兩個關鍵方法提高了影像的多樣性和質量：第一，使用Patch級建模；第二，限制感受野。
傳統的擴散模型在訓練樣本少時，容易過擬合，生成的結果缺乏多樣性，往往只是記住了訓練樣本。而我們的模型透過降低資料維度和增加樣本量，有效地減少了這種過擬合現象。
為了彌補Patch級建模在表達整個影像結構上的不足，我們提出了兩階段的擴散過程。首先，在早期步驟中使用大感受野模型捕捉幾何結構，然後在後續步驟中切換到小感受野模型生成區域性Patch。這樣做在保持影像質量的同時，顯著提升了生成的多樣性。透過調整兩個模型的接入點和感受野，我們的模型在保真度和多樣性之間實現了良好的平衡。
透過“Defect-Gen”，我們為工業缺陷檢測提供了更豐富和多樣的訓練樣本，推動了自動化檢測技術的發展
全面評估與未來的研究方向
表二：部分缺陷檢測網路在Defect Spectrum資料集上的測評結果
表三：Defect Spectrum資料集上的實際評估標準 
表四：Defect Spectrum在實際評估中的優異表現
我們對Defect Spectrum資料集進行了全面的評估，標註如表三所示。這個實驗驗證了Defect Spectrum在各種工業缺陷檢測挑戰中的適用性和優越性。表四表明，比起原有的資料集，在我們資料集上訓練的模型提升了10.74%的召回率(recall)，降低了33.1%的過殺率(False Positive Rate)。此外，資料集的構建和評估過程不僅提供了一個堅實的研究基礎，也為工業界和學術界的研究人員提供了一個評估和開發針對工業缺陷檢測複雜需求的先進模型的平臺。
Defect Spectrum資料集的引入，猶如為工業生產注入了一劑強心針。它讓缺陷檢測系統更加貼近實際生產需求，實現了高效、精準的缺陷管理。同時，它也為未來的預測性維護提供了寶貴的資料支援，透過記錄每個缺陷的類別和位置，工廠可以不斷最佳化生產流程，改進產品修復方法，最終實現更高的生產效益和產品質量。
總結
我們釋出了Defect Spectrum資料集以及DefectGen缺陷生成器，提供了實際工業檢測中所需的高精確度和豐富缺陷語義，解決了模型無法識別缺陷類別或位置的問題。
我們對Defect Spectrum資料集進行了全面的評估，驗證了其在各種工業缺陷檢測挑戰中的適用性和優越性，比起原有的資料集，在我們資料集上訓練的模型提升了10.74%的召回率(recall)，降低了33.1%的過殺率(False Positive Rate)。
參考資料：
1. Bai, H., Mou, S., Likhomanenko, T., Cinbis, R.G., Tuzel, O., Huang, P., Shan, J., Shi, J., Cao, M.: Vision datasets: A benchmark for vision-based industrial inspec- tion. arXiv preprint arXiv:2306.07890 (2023)
2. Silvestre-Blanes, J., Albero-Albero, T., Miralles, I., Pérez-Llorens, R., Moreno, J.: A public fabric database for defect detection methods and results. Autex Research Journal19(4), 363–374 (2019). https://doi.org/doi:10.2478/aut-2019-0035,https://doi.org/10.2478/aut-2019-0035
3. Zhang, Z., Zhao, Z., Zhang, X., Sun, C., Chen, X.: Industrial anomaly detection with domain shift: A real-world dataset and masked multi-scale reconstruction. arXiv preprint arXiv:2304.02216 (2023)
4. Mishra, P., Verk, R., Fornasier, D., Piciarelli, C., Foresti, G.L.: VT-ADL: A vision transformer network for image anomaly detection and localization. In: 30th IEEE/IES International Symposium on Industrial Electronics (ISIE) (June 2021)
5. Incorporated, C.: Standard fabric defect glossary (2023), uRL: https : / / www . cottoninc . com / quality - products / textile - resources / fabric - defect - glossary
6. Wieler, M., Hahn, T.: Weakly supervised learning for industrial optical inspection. In: DAGM symposium in. vol. 6 (2007)
7. Tabernik, D., Šela, S., Skvarč, J., Skočaj, D.: Segmentation-based deep-learning approach for surface-defect detection. Journal of Intelligent Manufacturing31(3), 759–776 (2020)
8. Bergmann, P., Fauser, M., Sattlegger, D., Steger, C.: Mvtec ad–a comprehen- sive real-world dataset for unsupervised anomaly detection. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 9592–9600 (2019)
9. Zou, Y., Jeong, J., Pemula, L., Zhang, D., Dabeer, O.: Spot-the-difference self- supervised pre-training for anomaly detection and segmentation (2022)