“接下来,就是试试获取小说的内容了。”
接下来,他开始编写程序以获取小说的详细信息和内容。
由于小说内容比较庞大,他决定把获取内容的频率放低。
毕竟是在奶茶店,店里面还有不少的人在使用着店里面提供的WIFI。
如果他瞬时间向服务器的请求量过大,其他人的网络,基本上就会陷入瘫痪的状态。
他现在只是手痒痒了,想试试手,真正要爬取到足够多的小说数据,至少需要好几天的时间。
“接下来,就是见证奇迹的时刻。”
他开始启动他的爬虫程序,程序开始在小说网站上爬取小说的内容。
无数本小说的内容文字一闪而过,便进入了数据库之中。
“哟,还有点意思。”
他发现,在爬取的过程中,点娘小说网站的反爬虫机制还算是不错,他的爬虫程序很快就被封禁了。
针对IP的。
不过,他快速升级了他的爬虫程序,加入了无数的IP池,以及强大的识别验证码能力,使其更难被网站检测到。
“咦,看来我这掌握的五级信息技术,比我想象之中的要强!”
经过一番小小的折腾,点娘都市小说分类下的数百万本小说,全部进入了他的数据库里面。