scrapy_redis 一、scrapy_redis分布式原理 学习目标 了解 scarpy_redis的概念和功能 了解 scrapy_redis的原理 了解 redis数据库操作命令 在前面scrapy框架中我们已经能够使用框架实现爬虫爬取网站数据,如果当前网站的数据比较庞大, 我们就需要使用分布式来更快的爬取数据 1 scrapy_red...

第一章 连接池 1 连接池概述 为什么要使用连接池 目的：为了解决建立数据库连接耗费资源和时间很多的问题，提高性能。 Connection对象在JDBC使用的时候就会去创建一个对象,使用结束以后就会将这个对象给销毁了(close).每次创建和销毁对象都是耗时操作.需要使用连接池对其进行优化. 程序初始化的时候，初始化多个连接,将多个连接放入到池(集合)中.每次获取的时候,都可以直接...

第一章 多表操作 1 外键约束 # 类别表 create table category( cid int primary key auto_increment, cname varchar(32) ); # 商品表 create table product( pid int primary key auto_increment, pname varchar(32), ...

学习目标： 了解 crawlspider 的作用 应用 crawlspider 爬虫创建的方法 应用 crawlspider 中 rules 的使用 1、crawlspider 是什么 回顾之前的代码中，我们有很大一部分时间在寻找下一页的url地址或者是内容的url地址上面，这个过程能更简单一些么？ 思路： 从response中提取所有的满...

第1章 数据库介绍 1 数据库概述 什么是数据库 数据库就是存储数据的仓库，其本质是一个文件系统，数据按照特定的格式将数据存储起来。用户可以对数据库中的数据进行增加，修改，删除及查询操作。 集合、文件、数据库，三者进行存储数据的对比： 集合：数据存储在内存中；问题是，一旦程序执行完毕了，数据消失了，数据不能永久性的储存。 文件：数据储存在磁盘中，可以永久性...

学习目标： 应用 scrapy中使用中间件使用随机UA的方法 了解 scrapy中使用代理ip的的方法 1、scrapy中间件的分类和作用 1.1 scrapy中间件的分类 根据scrapy运行流程中所在位置不同分为： 下载中间件 爬虫中间件 1.2 scrapy中间的作用 主要功能是在爬虫运行过程中进行一些处理，如对非200响应的重试（重新构...

一、模拟登陆 学习目标： 应用 scrapy直接携带cookie模拟登陆的方法 应用 scrapy.FormRequest()发送post请求进行登陆 1、回顾之前的模拟登陆的方法 1.1 requests模块是如何实现模拟登陆的？ 直接携带cookies请求页面 找url地址，发送post请求存储cookie 1.2 selenium是如何模拟登陆的...

Overview 今日内容 Lock 接口 线程通信，等待与唤醒 多生产多消费 Condition 接口 线程池思想 JDK 提供的线程池 Callable 和 Future 接口 Timer 定时器 教学目标 能够理解等待唤醒案例 能够说出 sleep 和 wait 方法区别 能够说出 Lock 接口的特点 能够使用 Lock ...

Overview 今日内容 进程概念 线程概念 线程的创建方式 线程名字设置获取 线程安全问题引发 同步代码块 同步方法 死锁 教学目标 说出进程的概念 说出线程的概念 能够使用继承类的方式创建多线程 能偶获取线程的名字 能够使用实现接口的方式创建多线程 能够说出实现接口方式的好处 能够解释安全问题的出现的原因 能...

集合-3 第一章 Map 集合 1.1 概述 现实生活中，我们常会看到这样的一种集合：IP地址与主机名，身份证号与个人，系统用户名与系统用户对象等，这种一一对应的关系，就叫做映射。Java提供了专门的集合类用来存放这种对象关系的对象，即java.util.Map接口。 我们通过查看Map接口描述，发现Map接口下的集合与Collection接口下的集合，它们存储数据的形式不同，如下图...