動態頁面資料載入不全的問題

一、scrapy splash 實現下滑載入

def start_requests(self):

        script = """

                function main(splash)

                    splash:set_viewport_size(1028, 10000)

                    splash:go(splash.args.url)

                    local scroll_to = splash:jsfunc("window.scrollTo")

                    scroll_to(0, 2000)

                    splash:wait(15)

                    return {

                        html = splash:html()

                    }

                end

                """

        for url in self.start_urls:

            yield Request(url,callback=self.parse_info_index,meta = {

                'dont_redirect': True,

                'splash':{

                    'args':{'lua_source':script,'images':0},

                    'endpoint':'execute',

                }

            })

二、webdriver 也類似處理頁面需要滑動到底部讓js執行完成

1. 頁面滑動

2. 頁面內的div滑動