我正在重建我們公司內部網，期間遇到一個與大量資料處理報告有關的前一個版本的問題。此前我曾用同步處理程式程式碼解決過這個問題，只是執行的很慢很慢，這導致我不得不延長最大指令碼執行時間10到15分鐘。有沒有更好的方式來處理PHP站點裡的大量資料呢？理想情況下我想在後臺執行它，並且跑的越快越好。這個過程包括處理成千上萬條的財務資料，我是使用Laravel來重建這個站點的。
最好受歡迎的回答（來自spin81）：
人們都告訴你要使用佇列和諸如此類的東西，這是一個好主意，但問題好像並沒有出在PHP上面。Laravel/OOP是很厲害的，但生成你所說的報告的程式似乎不應你該有問題。對於不同的看法，我想看看你得到這些資料時使用的SQL查詢。正如其他人所說，如果你的表單有成千上萬行那你的報告應該不會耗費10到15分鐘才完成。實際上，如果你沒做錯事的話可能會在一分鐘內就能處理成千上萬條記錄，完成同樣的一篇報告。
1.如果你正在做成千上萬條查詢，看看你能不能先只做幾條查詢。我之前曾使用一個PHP函式把70000條查詢降為十幾條查詢，這樣它的執行時間就從幾分鐘降到了幾分之一秒。
2.在你的查詢上執行EXPLAIN，看看你是不是缺少什麼索引。我曾經做過一個查詢，通過增加了一個索引後效率提高了4個數量級，這沒有任何誇張的成分。如果你正在使用MySQL，你可以學學這個，這種“黑魔法”技能會讓你和你的小夥伴驚呆的。
3.如果你正在做SQL查詢，然後獲得結果，並把很多數字弄到一起，看看你能不能使用像SUM（）和AVG（）之類的函式呼叫GROUP BY語句。跟普遍的情況下，讓資料庫處理儘量多的計算。我能給你的一點很重要的提示是：（至少在MySQL裡是這樣）布林表示式的值為0或1，如果你很有創意的話，你可以使用SUM（）和它的小夥伴們做些很讓人驚訝的事情。
4.好了，最後來一個PHP端的提示：看看你是不是把這些同樣很耗費時間的數字計算了很多遍。例如，假設1000袋土豆的成本是昂貴的計算，但你並不需要把這個成本計算500次，然後才把1000袋土豆的成本儲存在一個陣列或其他類似的地方，所以你不必把同樣的東西翻來覆去的計算。這個技術叫做記憶術，在像你這樣的報告中使用往往會帶來奇蹟般的效果。
為您推薦其他與程式設計資料處理有關的優秀文章：《為實現最佳效能的程式設計：資料對齊與結構》、《如何學好資料結構和演算法》、《MySQL處理資料庫和表的常用命令》，希望這些關於資料處理方式及資料結構的知識、技巧能讓你學到新東西，不斷進步。
原文：http://www.reddit.com/r/PHP/comments/2pyuy0/heavy_data_processing_in_php/
譯文：http://www.php100.com/html/dujia/2014/1226/8195.html
來自：PHP100
評論(1)