亮資料，適合大模型資料準備的視覺化高效率資料採集工具。
一、大模型訓練需要資料
大模型資料處理的流程，分為資料採集、資料清洗、資料評估和指令資料標註四個主要階段，而這些階段中最重要的就是資料採集階段，需要海量的資料才能讓大模型湧現智慧。
訪問點選： 亮資料加速資料採集。
資料採集
涉及多種資料來源，包括點雲、影像、文字和語音，資料來源涵蓋公開資料集、百科資料、電子書、Common Crawl資料集、新聞資料和行業資料。
資料清洗
透過結合專家知識、大資料和AI，實現一鍵資料清洗，步驟包括資料去重、網頁語言過濾、特殊符號過濾和影像裁剪。基於模型反饋對資料清洗質量進行評估。
資料評估
包括人工評估和基於模型的自動評估，確保資料的高靈敏度和高質量。
指令資料標註
利用語言模型（LM）自動生成和標註指令資料，顯著降低行業資料標註成本，提高效率。包括種子指令編寫、指令擴增和資料集自動生成與標註。
二、亮資料高效率採集工具介紹
亮資料是一家提供全方位網路資料服務的公司，專注於商用代理和資料採集。在資料採集方面，亮資料提供了一系列強大的工具和服務：
- 代理服務：亮資料提供動態住宅代理、靜態住宅代理、機房代理和移動代理，覆蓋全球195個國家，擁有超過7200萬個IP。 亮資料加速資料採集。
- 資料採集工具：亮資料提供Web Scraper IDE、亮資料瀏覽器和SERP API等工具，幫助使用者自動採集和解鎖網站資料。 亮資料加速資料採集。
- 資料集：提供現成可用的大資料集和基於機器學習的電商資料分析，滿足客戶多樣化的資料需求。 亮資料
亮資料透過這些全面的服務，確保使用者能夠高效、精準地採集和利用網路資料。
訪問點選： 亮資料
三、亮資料採集資料視覺化實戰
亮資料加速資料採集。
3.1 註冊後，點選側邊欄 - 資料收集器
3.2 點選Web Scraper IDE 視覺化爬蟲IDE
亮資料
3.3 可以選擇自定義爬取，也可以參照模版
亮資料
3.4 點選執行資料採集器
亮資料
3.5 獲得爬取結果，可匯出為Json
訪問點選： 亮資料加速資料採集。
四、採集的資料後處理轉化為大模型課訓練指令實戰
按照章節三我們獲得了一批Ebay的商品資料，如何用來生成指令呢？
4.1 大模型訓練的指令一般格式
[
{
"instruction": "",
"input": "",
"output": ""
}
]
4.2 將亮資料獲得的資料轉化為訓練指令
下面將商品資訊轉換為微調指令的Python程式碼示例，同時生成了相應的微調指令（可以根據你需要的內容，設定各種場景）：
import json
# 讀取商品資訊
with open('/mnt/data/lines.json', 'r') as file:
products = json.load(file)
# 定義函式生成微調指令
def generate_fine_tuning_instructions(product):
instructions = []
# 指令1：生成商品簡介
instructions.append({
"instruction": "Generate a brief description for the product.",
"input": product['title'],
"output": f"The {product['title']} is available for {product['price']['value']} {product['price']['currency']}. It is in {product['condition']} condition."
})
# 指令2：生成商品標題最佳化建議
instructions.append({
"instruction": "Suggest an optimized title for the product listing.",
"input": product['title'],
"output": f"Brand New {product['title']} at Only {product['price']['value']} {product['price']['currency']}!"
})
# 指令3：生成商品價格及運費資訊
instructions.append({
"instruction": "Combine product price and shipping cost into a single string.",
"input": f"Price: {product['price']['value']} {product['price']['currency']}, Shipping: {product['shipping_price']['value']} {product['shipping_price']['currency']}",
"output": f"The total cost is {product['price']['value'] + product['shipping_price']['value']} {product['price']['currency']}."
})
# 指令4：生成商品連結的簡短描述
instructions.append({
"instruction": "Create a short description including the product title and the URL.",
"input": "",
"output": f"Check out this {product['title']} here: {product['product_url']}"
})
# 指令5：生成商品分類描述
instructions.append({
"instruction": "Generate a description for the product category.",
"input": product['category'],
"output": f"This product belongs to the {product['category']} category, perfect for enhancing your style."
})
return instructions
# 生成所有商品的微調指令
all_instructions = []
for product in products:
all_instructions.extend(generate_fine_tuning_instructions(product))
# 儲存生成的微調指令
with open('/mnt/data/fine_tuning_instructions.json', 'w') as outfile:
json.dump(all_instructions, outfile, indent=4)
# 輸出生成的微調指令
for instruction in all_instructions:
print(json.dumps(instruction, indent=4))
該程式碼從 lines.json 檔案中讀取商品資訊，然後為每個商品生成多個微調指令。這些指令包括生成商品簡介、最佳化商品標題、組合商品價格和運費資訊、建立商品連結的簡短描述以及生成商品分類描述。最後，將這些微調指令儲存到一個新的 JSON 檔案 fine_tuning_instructions.json 中。
生成如下：
生成的微調指令內容如下：
[
{
"instruction": "Generate a brief description for the product.",
"input": "Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M",
"output": "The Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M is available for 12.5 GBP. It is in Brand new condition."
},
{
"instruction": "Suggest an optimized title for the product listing.",
"input": "Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M",
"output": "Brand New Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M at Only 12.5 GBP!"
},
{
"instruction": "Combine product price and shipping cost into a single string.",
"input": "Price: 12.5 GBP, Shipping: 3.99 GBP",
"output": "The total cost is 16.49 GBP."
},
{
"instruction": "Create a short description including the product title and the URL.(Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt )",
"input": "",
"output": "Check out this Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M here: https://www.ebay.co.uk/itm/266810855159?itmmeta=01HYDB4599C0YG15YV26AMNVTC&hash=item3e1f2a8ef7%3Ag%3AIjoAAOSw3B5mAG0Q&itmprp=enc%3AAQAJAAAA8Py7UNHWp81cjXj6NBwvlndwuF2KS5n8yYBa8wTC0YfKuEhF4mCKkp7hqmBldzj%2FYlsbvOk4avfTViDIAjKX03asNCkz2edAuumM7ZSTrMKRxgyMfpeuRwSqEZ5MgpmfXmYaoUfBSPhDCiha%2FO7VON9bq9EuKZz9F3veWK16TvY8qgWR6sBDsWbMbbOpQbvPcMp4pEwqDOIUN7Wb8ufImjyBDjN8Ec066CmRz9QmgsuaCPSOI1jT8tv4MRjFiPjCK6vrmxhB4ARdOHwLhTrzHKpKHXeOxsO5GiyM%2BDGXAnbBphio%2Fd%2BkkiVvjmjmX6y4PA%3D%3D%7Ctkp%3ABk9SR97UkKvzYw&LH_ItemCondition=1000"
},
{
"instruction": "Generate a description for the product category.(Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M)",
"input": "Clothes, Shoes & Accessories",
"output": "This product belongs to the Clothes, Shoes & Accessories category, perfect for enhancing your style."
},...]
4.3 也可以使用大模型來轉換指令
比如使用ChatGPT，prompt如下：
你需要將lines.json檔案中的多條商品資訊，生成如下格式的多條可供大模型訓練的微調指令，這個裡面你要根據商品資訊，根據自己的知識來找各種角度生成有價值的微調指令，讓大模型更加智慧。格式如下：[
{
"instruction": "",
"input": "",
"output": ""
},
]
五、亮資料，加速大模型資料採集。
亮資料，加速大模型資料採集，為使用者提供全面的資料採集服務。Web Scraper IDE、亮資料瀏覽器和SERP API，幫助使用者高效自動化地採集和解鎖網站資料。透過這些先進的技術和服務，亮資料能夠顯著加速大模型的資料採集過程，為企業和研究機構提供高質量、精準的資料支援。
訪問點選： 亮資料
如有幫助，請多關注
TeahLead KrisChang，10+年的網際網路和人工智慧從業經驗，10年+技術和業務團隊管理經驗，同濟軟體工程本科，復旦工程管理碩士，阿里雲認證雲服務資深架構師，上億營收AI產品業務負責人。