使用无限滚动来爬取网站

12 浏览2023年7月29日

匿名的 2023年7月29日

0 Comments

我已经写了很多网络爬虫，但我不太确定如何处理无限滚动。现在大多数网站如Facebook、Pinterest都采用了无限滚动的方式。

0

如何从无限滚动的网站中抓取所有内容？scrapy

如何根据用户滚动加载网页内容

网页挖掘、抓取还是爬取？我应该使用哪个工具/库？

如何使用Phantomjs向下滚动以加载动态内容

infinite-scroll是一个jQuery插件。

angularjs在一个容器中的无限滚动

检查用户是否滚动到底部（不仅是窗口，还包括任何元素）

抓取一个动态网站

使用Java进行Web scraping

如何一次性加载无限滚动中的所有条目以便在Python中解析HTML。

刷新页面后禁用浏览器的自动滚动？

捕捉“滚动向下”事件？

如何使用jquery在网页上垂直滚动？

Selenium: 滚动到动态加载网页的页面底部

使用无限滚动或大量DOM元素的性能？

AngularJS无限滚动与大量数据

在 div 上溢出滚动

如何使用js实现无限滚动到顶部？

在所有浏览器中为我的网站启用平滑滚动。

等待页面加载完毕使用Selenium WebDriver for Python。