如果网页内容是由javascript生成的,应该怎么实现爬虫
1、其实你自己已经说了答 。普通流程：请求获取html DOM树分析或字符串处理筛选数据 存储数据 你的情况：请求获取js js（可能需要js重新包装再处理）得到html DOM树分析或字符串处理筛选数据 存储数据 --- 只是多了一层处理方式而已，或者也可以拿到js后，直接字符串处理包装。
2、 包分析，这个 的优点是 取的速度快，取得数据结构比较好，处理起来简单，很多是 json 格式的数据，但是 包分析需要大量的时间，这里的时间是指需要模拟需要获取数据的之前的一个或者几个请求，涉及到 headers 里的很多参数，有时候还设计到数据加密，这个过程你可能需要读 js 源码，才能解决问题。
3、写爬虫的话，你可以试试用【神箭手云爬虫开发平台】写爬虫，自带 渲染、 ip、验证码识别等功能，还可以发布和导出爬取的数据，生成 等，都在云端进行，不需要 开发环境。
4、在进行爬虫时，如果要支持JavaScript，可以通过在请求头中添加相应的字段来实现。具体步骤如下： 引入requests库，用于发送HTTP请求。 创建一个字典，用于保存请求头信息。 在请求头中添加U r-Agent字段，设置为常用的浏览器的U r-Agent字符串，以模拟浏览器发送请求。
5、这个不可以，因为很多还没有生成html，所以 不到。除非你打开这个页面，让那些JavaScript生成后再 取。
6、基于HTTP协议的数据采集：HTTP协议是Web应用程序的基础协议， 爬虫可以模拟HTTP协议的请求和响应，从而获取Web页面的HTML、CSS、JavaScript、 等资源，并解析页面中的数据。基于API接口的数据采集：许多 提供API接口来提供数据访问服务， 爬虫可以通过调用API接口获取数据。
求推荐好用的爬虫框架,更好自带防反爬虫
·scrap y- 爬虫框架（基于twisted） ， 不支持 Python 3。 mpy spider-一个强大的爬虫 。 ·cola-一个分布式爬虫框架。 其他 ·portia-基于Scrap y的可视化爬虫。 *rest kit-Python的HTTP资源 包。它可以让你轻松地 访问HTTP资源， 并围绕它建立的对象。 ·demiurge-基于Py Query的爬虫微框架。
Scrapy：是一个为了 取 数据，提取数据结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一 的程序中，用这个框架可以轻松爬下来各种信息数据。
aiohttp：是纯粹的异步框架，同时支持HTTP客户端和服务端，可以快速实现异步爬虫，并且其中的aiohttp解决了requests的一个痛点，它可以轻松实现自动转码，对于 编码就很方便了。asks：Python自带一个异步的标准库asyncio，但这个库很多人觉得并不好用，而里面的ask则是封装了curio和trio的一个http请求库。
Scrapy Scrapy是一个为了爬取 数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一 的程序中。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。
常见python爬虫框架1）Scrapy：很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知url pattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。
requests 这个库是爬虫最常用的一个库 S nium S nium 是一个自动化测试 ，利用它我们可以驱动浏览器 特定的动作，如点击、下拉等操作 对于一些用 做谊染的页面来说，这种 取方式是非常有效的。
小程序云函数能写爬虫吗
1、可以。相当于云端的接口，云函数语言是JavaScript，云函数的运行环境，目前是nodejs9，可以写爬虫或者写其他需要服务端才能写的功能。云函数就是一段运行在云端的代码，相当于小程序服务端的后台代码，不需要管理服务器，小程序端写代码，一键上传部署运行这些代码。
2、数据处理，普通的爬虫程序中是把网页解析器和数据处理器合在一起的，解析到数据后马上处理。 在一个标准化的爬虫程序中，他们应该是各司其职的，我们先通过解析器将需要的数据解析出来，可能是封装成对象。然后传递给数据处理器，处理器接收到数据后可能是存储到数据库，也可能通过接口发送给老王。
3、 爬虫。顾名思义，从互联网上爬取信息的脚本，主要由urllib、requests等库编写，实用性很强，小编就曾写过爬取5w数据量的爬虫。在大数据风靡的时代，爬虫绝对是新秀。人工智能。AI使Python一战成名，AI的实现可以通过tensorflow库。神经 的核心在于激活函数、损失函数和数据，数据可以通过爬虫获得。
4、常规 开发 Python支持函数式编程和OOP面向对象编程，能够承担任何种类 的开发工作，因此常规的 开发、脚本编写、 编程等都属于标配能力。
5、大数据 我们目前正处于大数据时代，Python这门语言在大数据上比Java更加有效率，大数据虽然难学，但是Python可以更好地和大数据对接，用Python做大数据的薪资也至少是20K以上了，大数据持续火爆，未来做大数据工程师，薪资还将逐渐上涨。
node实现爬虫的几种简易方式
之一种方式，采用node，js中的 superagent+request + cheerio。cheerio是必须的，它相当于node版的jQuery，用过jQuery的同学会非常容易上手。它主要是用来获取 取到的页面元素和其中的数据信息。superagent是node里一个非常方便的、轻量的、渐进式的第三方客户端请求 模块，用他来请求目标页面。
Node 爬虫全过程：建立项目craelr-demo 建立一个Express项目，然后将app.js的文件内容全部删除，因为暂时不需要在Web端展示内容。当然我们也可以在空文件夹下直接 npm install express来使用需要的Express功能。
可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据。 环境和 Puppeteer本身依赖4以上的Node，但是为了异步 好用的async/await，推荐使用6版本以上的Node。
superagent ： 第三方Nodejs 模块，用于处理服务器和客户端的Http请求。cheerio ： 为服务器端定制的Jquery实现。思路 通过superagent 获取目标 的dom 通过cheerio对dom进行解析，获得通用布局。
简单的定向爬取：Python + urlib2 + RegExp + bs4 或者 Node.js + co，任一一款dom框架或者html par r + Request + RegExp 撸起来也是很顺手。对我来说上面两个选择差不多是等价的，但主要我 比较熟，现在选择Node平台会多一些。
