', re.S) priceInfo_pattern = re.compile('class="totalPrice totalPrice2">.*?class="">(.*?).*?', re.S) unitPrice_pattern = re.compile('class="unitPrice.*?(.*?)', re.S) title = re.search(title_pattern, htmlStr).group(1) position = re.search(position_pattern, htmlStr) positiongroup = position.group(1) + position.group(2) houseInfo = re.search(houseInfo_pattern, htmlStr).group(1) priceInfo = re.search(priceInfo_pattern, htmlStr).group(1) +"万元" unitPrice = re.search(unitPrice_pattern, htmlStr).group(1) # 注意，下面字典处理的时候，一定要用""而不能用'' yield {"标题": title, "位置": positiongroup, "户型": houseInfo, "总价": priceInfo, "单价": unitPrice} except IndexError: pass def write_data(self, content): with open('链家长沙房源信息.txt', 'a',encoding='utf-8') as f: # 因为获取的数据是字典类型，转换为字符串写入文本文件，而且还不能显示为ascii，否则看不到汉字 f.write(json.dumps(content,ensure_ascii=False)+"\n") """ 3. 把上面方法整合起来完成业务逻辑""" def run(self): resp = self.get_data_index() # 获取网页信息 for data in self.parse_data_index(resp): print(data) self.write_data(data) if __name__ == '__main__': # 爬取5页的数据 for n in range(1, 6): print('正在爬取第{}页'.format(n)) spider = LianJian_changsha(n) spider.run()

完成后，效果如下：

3.4 BeautifuSoup方法

• 再学习一下bs4的写法。
• 这个库的功能很强大，方法有节点选择器，有方法选择器find_all，再加上强大的CSS选择器。用了更简短的代码，完成了既定目标。完整代码如下：

  # -*- coding:utf-8 -*-
  """
      # @Time:2022/12/19 0019 13:53
      # @Author：晚秋拾叶
      # @File:链家长沙房源bs4.py
      # @PyCharm之Python
      # 完成“标题，位置，户型，总价，单价”几个信息的收集并保存
      # 这次用excel方法保存
  """
  import requests
  import openpyxl
  from bs4 import BeautifulSoup
  
  
  class LianJian_changsha(object):
      def __init__(self):        
          self.headers = {
              'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54',
          }       
  
  
      ''' 1. 发起请求并获取数据 '''
  
      def get_response(self,url):
          # 可以使用urlli库里的方法from urllib.request import Request
          # 即用urllib中的request模块里的Request类定义解析的网页数据，
          # 不过需要用read()读取二进制内容，再用decode('utf-8')转为Unicode编码
          # 所以不如requests库 来得方便
          """ （1）用到第一个库requests的get方法，获取总的网页源代码 """        
          resp = requests.get(url, headers=self.headers)
          resp.encoding = 'utf-8'
          if resp.status_code == 200:
              return resp.text
          else:
              return None
  
      ''' 2. 把得到的网页文本信息进行解析 '''
      def parse_data(self):
          data_list = []
          for i in range(1,6):
              # 因为要分布保存到excel中，而且用的是openpyxl方法，所以把页面地址的更迭放在这里
              url = 'https://cs.lianjia.com/ershoufang/pg{}/'.format(i)
              resp = self.get_response(url)
              # 进一步筛选想要的源代码内容，缩小范围
              """ （2）这个库的功能强大，用select方法和节点选择器，加上CSS选择器，代码简洁好用 """
              soup = BeautifulSoup(resp, 'lxml')
              sellListContent = soup.select("ul li .info.clear")
              i = 0
              # 解析并提取数据            
              for data_div in sellListContent:
                  # 下面的[0]用法，其实是列表索引，与xpath的位置选择不一样
                  title= data_div.select("a")[0].text
                  position = data_div.select("div .positionInfo")[0].text
                  houseInfo = data_div.select("div .houseInfo")[0].text
                  priceInfo = data_div.select(".totalPrice.totalPrice2 span")[0].text + "万元"
                  unitPrice = data_div.select(".unitPrice")[0].text  
                  data = [title,position,houseInfo,priceInfo,unitPrice]
                  i += 1
                  print(f"现在是第{i}条")
                  print(data)
                  data_list.append(data)
          return data_list
      
  
      def save_to_excel(self):
          datas = self.parse_data() #数据，也就是上面获取到的嵌套列表
          print('开始保存...')
          # 表头
          excel_header = ['标题','位置','户型','总价','单价']
  
          # 创建excel表格并写入表头
          wb = openpyxl.Workbook()
          ws = wb.create_sheet(title='链家长沙房源', index=0)
          wb.remove(wb['Sheet']) # 删除原来的表
          ws.append(excel_header) # 写入表头       
  
          # 遍历数据
          for data in datas:
              # 将每行数据追加到表格
              ws.append(data)
  
          # 保存表格
          wb.save('链家长沙房源.xlsx')
      """ 3. 把上面方法整合起来完成业务逻辑"""
      def run(self):
          self.parse_data()  # 获取网页信息
          self.save_to_excel()
          print("保存完成。")
        
  
  
  if __name__ == '__main__':    
      spider = LianJian_changsha()
      spider.run()
  
  

• 效果如图。

3.5 pyquery方法

• 这次保存数据信息，我用MySQL的方法，以进一步掌握数据库的使用方法。

3.5.1安装MySQL

• 这里登录https://dev.mysql.com/downloads/mysql/，选择Microsoft Windows打开如下页面，点击下面的Download按钮。

• 这是一个免安装的数据库程序，然后把数据库包解压到E盘，如图。

• 其中，my.ini是自己创建的配置文件，保存到数据库当前目录，内容如下：

  [client]
  # 设置mysql客户端默认字符集
  default-character-set=utf8
   
  [mysqld]
  # 设置3306端口
  port = 3306
  # 设置mysql的安装目录
  basedir=E:\mysql8.0
  # 设置 mysql数据库的数据的存放目录，MySQL 8+ 不需要以下配置，系统自己生成即可，否则有可能报错
  # datadir=E:\mysql8.0\\sqldata
  # 允许最大连接数
  max_connections=20
  # 服务端使用的字符集默认为8比特编码的latin1字符集
  character-set-server=utf8
  # 创建新表时将使用的默认存储引擎
  default-storage-engine=INNODB
  

• 接下来我们来启动下 MySQL 数据库：

• 以管理员身份打开 cmd 命令行工具，切换目录：

3.5.1 初始化数据库

~~~
mysqld --initialize --console
~~~

执行完成后，会输出 root 用户的初始默认password，如：

...
2023-01-04T02:35:05.464644Z 5 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: APWCY5ws&hjQ
...

APWCY5ws&hjQ 就是初始password，后续登录需要用到，你也可以在登陆后修改password。

mysqladmin -u用户名 -p旧密 password 新密 我这里没有成功，也没找原因，直接去掉旧密，再执行后，要求输入password的时候，输入完就更新成功了。最后显示OK。

• 安装数据库，下面也是在bin目录下执行。

  mysqld install
  

• 安装结束后启动服务即可， 启动服务命令如下：

  net start mysql
  

• 登陆MySQL

  当 MySQL 服务已经运行时, CD到bin目录，打开命令提示符, 输入以下格式的命名:

  mysql -h 主机名 -u 用户名 -p	
  

  • -h : 指定客户端所要登录的 MySQL 主机名, 登录本机(localhost 或 127.0.0.1)该参数可以省略;
  • -u : 登录的用户名;
  • -p : 告诉服务器将会使用一个password来登录, 如果所要登录的用户名password为空, 可以忽略此选项。

• 查看数据库

  语法：

  show databases;
  

• 创建数据库

  语法：

  create database 库名;
  

  这里创建一个名字为lianjia的库名。

• 创建数据表，下面命令，可以在console窗口Mysql提示符下录入，也可以在idle的sql控制台下录入，都可以。 语法：

  create table lianjia_cs
  (
  	id  int auto_increment,
      title     varchar(100) null,
      position  varchar(200) null,
      houseInfo varchar(200) null,
      priceInfo varchar(50)  null,
      unitPrice varchar(50)  null,
     	primary key(id)
  )DEFAULT CHARSET=utf8;
  

  

3.5.3 数据库与idle的连接操作

• 用VSCode连接MySQL8.0，步骤如下： （1）点扩展插件，输入MySQL，安装第一个，如图。 （2）打开左侧资源管理器，点+号，分别录入host、user、password、port，最后一个回车即可，我这里对应的是localhost、root、root、3306。然后就轻松建立一个localhost连接了。 注意：如果连接不成功，下面有Error提示的话，一般要更新一下password，才能连接。命令如下： alter user ‘root’@‘localhost’ identified with mysql_native_password by ‘root’;
• 用PyCharm连接数据库的方法，相对也很简单。 （1）单击右侧数据库，再点+号，再点MySQL即可建立。 （2）在弹出的对话框中，输入相应的参数。

3.5.4 程序全部代码

# -*- coding:utf-8 -*-
"""
    # @Time:2022/12/19 0019 13:53
    # @Author：晚秋拾叶
    # @File:链家长沙房源.py
    # @PyCharm之Python
    # 完成“标题，位置，户型，总价，单价”几个信息的收集并保存
"""
import requests
import pymysql
from pyquery import PyQuery as pq


class LianJian_changsha(object):
    def __init__(self, num):
        self.url = 'https://cs.lianjia.com/ershoufang/pg{}/'.format(num)
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54',

        }
        # 创建数据库连接
        self.db = pymysql.Connect(
            host="localhost",
            port=3306,
            user="root",
            password="root",
            db="lianjia"
        )
        # 再创建数据库游标
        self.cursor = self.db.cursor()

    ''' 1. 发起请求并获取数据 '''

    def get_data_index(self):
        # 可以使用urlli库里的方法from urllib.request import Request
        # 即用urllib中的request模块里的Request类定义解析的网页数据，
        # 不过需要用read()读取二进制内容，再用decode('utf-8')转为Unicode编码
        # 所以不如requests库来得方便
        """ （1）用到第一个库requests的get方法，获取总的网页源代码 """
        resp = requests.get(self.url, headers=self.headers)
        resp.encoding = 'utf-8'
        if resp.status_code == 200:
            return resp.text
        else:
            return None

    ''' 2. 把得到的网页文本信息进行解析 '''

    def parse_data_index(self, resp):
        # 进一步筛选想要的源代码内容，缩小范围
        """ （2）还是用xpath定位好范围 """
        doc = pq(resp)
        sellListContent = doc(".sellListContent li")
        for data in sellListContent.items():
            # 下面用了CSS选择器，加上text方法获取文本内容
            title = data(".info.clear .title a").text()
            position = data(".info.clear .flood").text()
            houseInfo = data(".info.clear .houseInfo").text()
            priceInfo = data(".info.clear .totalPrice.totalPrice2 span").text() + "万元"
            unitPrice = data(".info.clear .unitPrice span").text()
            # 定义sql语句，以便下面执行插入操作
            sql = "insert into lianjia_cs (title,position,houseInfo,priceInfo,unitPrice) values(%s,%s,%s,%s,%s);"
            # 把信息字段写入参数
            params = [(title, position, houseInfo, priceInfo, unitPrice)]
            # 执行语句
            self.cursor.executemany(sql, params)
            # 提交数据库
            self.db.commit()

    """ 3. 把上面方法整合起来完成业务逻辑"""

    def run(self):
        resp = self.get_data_index()  # 获取网页信息
        self.parse_data_index(resp)


if __name__ == '__main__':
    # 爬取前5页的数据
    for n in range(1, 6):
        spider = LianJian_changsha(n)
        spider.run()

• 结果如图。

3.6 parsel方法

• 这次用parsel方法，把这个任务完成。这个方法，其实很简单，提取到网页源代码后，还是应用了xpath方法。不过这次数据，我再用MongoDB数据库保存。

3.6.1 安装MongoDB

• 安装包下载地址：https://www.mongodb.com/try/download/community

• step1:打开安装包直接点击Next

• step2：继续点击Next

• step3：点击自定义安装

• step4：选择好安装路径，点击Next

• step5：点击Next

• step6：取消可视化界面勾线，直接点击Next安装

3.6.2 初始化MongoDB

• step1：配置环境变量，找到MongoDB安装路径下的bin目录

• step2：计算机--右击--属性--高级系统设置--环境变量--系统变量--path--新建，将bin目录复制进去即可 补充：进到data目录里面，新建两个文件夹，一个是db，一个是log

• step3：打开cmd，输入mongod -dbpath "F:\MongoDB\data\db" -logpath "F:\MongoDB\data\log\mongo.log"

• step4:重新打开一个cmd窗口，输入mongo来启动MongoDB shell 端 这里遇到一个问题就是，我安装的是高版本的MongoDB，显示mongo命令不存在。 查了一番资料，才明白，高版本已经没有这个命令了。然后根据资料提示，重新下载一个mongosh文件代替。 地址：https://www.mongodb.com/try/download/shell

• 下载解压后，找到bin目录，把这两个文件，复制粘贴到MongoDB下的bin目录。

• 再执行mongosh命令就行了。

• **step5: 创建一个数据库，再建立一个集合 ** 创建\删除数据库

  use db_lianjia
  # 如果数据库不存在，则创建数据库，否则切换到指定数据库。
  
  db.dropDatabase()
  # 删除数据库之前，先进入数据库，之后执行
  # 删除当前数据库
  

  实例：

  >use db_lianjia
  switched to db db_lianjia
  >db
  db_lianjia
  

  如果你想查看所有数据库，可以使用 show dbs 命令：

  > show dbs
  admin   0.000GB
  config  0.000GB
  local   0.000GB
  

  可以看到，我们刚创建的数据库 db_lianjia并不在数据库的列表中， 要显示它，我们需要向 db_lianjia 数据库插入一些数据。

  增删改查操作

  MongoDB中的一张表被称为一个集合

  插入数据

  • 语法：

  # db.集合名.insert({})  数据格式为json
  db.demo.insert({name:"坤哥"})
  # { "_id" : ObjectId("63465fb77811f81334940270"), "name" : "坤哥" }
  

  上面的命令执行完，就自动创建了一个demo表。总结上面的命令如下图：

  • 我后面接着连接数据库，进行一个集合的实例，进一步理解上面的操作。

3.6.3 数据库与IDLE的连接操作

• 连接MongoDB时，需要使用PyMongo库里面的MongoClient方法，格式如下：

  import pymongo
  client = pymongo.MongoClient(host='localhost', port=27017)
  

• 上面语法用来创建MongoDB的连接对象。
• （1）PyCharm下安装MongoDB插件。

  • 点击右侧的数据库，一步步点击

  • 下一步，输入名称：MongoDB，主机：localhost，再点击下方的“下载”，最后完成测试连接。

    注意：这里反复下载提示重试，最后发现，需要github账号。

  • 终于下载并连接成功了。

• （2）再用VSCode连接一下。

  • 点扩展，再搜索mongo，如图下载MongoDB for VS Code：

  • 再点左侧出现的数据库，然后点CONNECTIONS右侧的+号。

  • 出现New connection之后，输入localhost，再输入账号、pwd以及本地数据库的名称。

• 提示，账号密码的设置在管理员console命令中，分如下几步完成。
  • mongosh   # 打开MongoDB;
  • use db_lianjia   # 创建或打开数据库;
  • db.createUser({user: "root", pwd: "root", roles: [{role: "root", db: "admin"}]})   # 修改用户和密码
  • 最后也完成VSCode下的MongoDB的连接。

3.6.4 程序全部代码

# -*- coding:utf-8 -*-
"""
    # @Time:2022/12/19 0019 13:53
    # @Author：晚秋拾叶
    # @File:链家长沙房源.py
    # @PyCharm之Python
    # 完成“标题，位置，户型，总价，单价”几个信息的收集并保存
"""
import requests
import pymongo
from parsel import Selector


class LianJian_changsha(object):
    def __init__(self, num):
        self.url = 'https://cs.lianjia.com/ershoufang/pg{}/'.format(num)
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54',
        }
        # 创建数据库连接
        self.client = pymongo.MongoClient(host="localhost", port=27017)
        # 再创建一个数据库，下面命令执行的时候，是没有创建，有则连
        self.db = self.client["db_lianjia"]

    ''' 1. 发起请求并获取数据 '''

    def get_data_index(self):
        # 可以使用urlli库里的方法from urllib.request import Request
        # 即用urllib中的request模块里的Request类定义解析的网页数据，
        # 不过需要用read()读取二进制内容，再用decode('utf-8')转为Unicode编码
        # 所以不如requests库来得方便
        """ （1）用到第一个库requests的get方法，获取总的网页源代码 """
        resp = requests.get(self.url, headers=self.headers)
        resp.encoding = 'utf-8'
        if resp.status_code == 200:
            return resp.text
        else:
            return None

    ''' 2. 把得到的网页文本信息进行解析 '''

    def parse_data_index(self, resp):
        # 进一步筛选想要的源代码内容，缩小范围
        """ 
        （2）如同前面章节提到的，SelectorList对象再用CSS选择器选择的属性，
            先是被转成了xpath，所以这里还是用xpath定位匹配文本 
        """
        # 创建一个Selector对象
        st = Selector(resp)
        # 创建一个SelectorList对象
        sellListContent = st.css(".sellListContent li")
        i = 0
        for data in sellListContent:
            title = data.xpath('.//div[@class="title"]/a/text()').get()
            position = "，".join(data.xpath('./div[1]/div[2]//a/text()').getall())
            houseInfo = data.xpath('.//div[@class="houseInfo"]/text()').get()
            priceInfo = data.xpath('.//div[contains(@class,"totalPrice")]/span/text()').get() + "万元"
            unitPrice = data.xpath('.//div[@class="unitPrice"]/span/text()').get()

            yield {'标题': title, '位置': position, '户型': houseInfo, '总价': priceInfo, '单价': unitPrice}
           

    """ 3. 把上面方法整合起来完成业务逻辑"""

    def run(self):
        resp = self.get_data_index()  # 获取网页信息
        parse_data = self.parse_data_index(resp)
        for item in parse_data:
            print(item)
            self.db.lianjia_cs.insert_one(item)


if __name__ == '__main__':
    # 爬取前5页的数据
    for n in range(1, 6):
        spider = LianJian_changsha(n)
        spider.run()

• 用db命令也能查看数据已经写入。

4. 面向对象的写法总结

• 面向对象的编程，能够让你的思路条理化。上面几种爬虫库完成既定目标，都是基于这个思想。
• 首先，都是建立一个类，包含要抓取的网页的地址，伪装和各种数据库的连接等等。
• 再写几个重要的方法。分别是获取网页数据、用各种爬虫库里的方法对网页数据进行解析、写入各种形式的保存方式的类方法、整合运行的类方法、调用类的主程序。。。

4.1 获取网页数据

• 这部分代码，所有的爬虫库都用到requests里的get方法，不过，遇到大型数据的爬取，就有点力不从心了。好在后面还会学到更强大的处理方法。
• 这里不管是得到的是什么数据，都要保证返回不为空，否则后面的工作也就成空了。

4.2 网页数据解析提取

• 这个题目中的要求，基本没有字典形式的数据，也没有抓取图像和音视频的情况，如果有的话，自然用xpath和bs4更方便一些。

4.3 遍历源代码数据列表

• 这个题目中，网页数据解析的时候，只是缩小范围，再得到列表，用遍历的for语句，结合各种方法得到一条一条的数据了。至于什么时候用return返回数据，还是用yield生成器，则要看保存的形式和地方了。

4.4 数据保存的问题解决

• 保存的方式，从简单的控制台打印，到文本文档，csv格式，再到稍复杂的csv和excel格式，一直到两种数据库MySQL和MongoDB的形式，一遍一遍改写和测试，加上我这新手不熟悉不断的找寻各种问题解决的资料信息，一共花费了近4天的时间，终于完成这部分知识的笔记。

4.5 业务逻辑的实现

• 再总结一个问题，就是业务逻辑的实现。主要是在run方法里面完成，翻页的效果，除了bs4这个方法结果保存为excel表格要处理翻页，其它的都在main主函数里面for循环完成。
• bs4这段中，为了追加成功，把这个功能写到了解析的类方法parse_data()里面，然后少了写的方法write_data()了。

4. 总结

• 上面写得太多，不总结了。总结一句，就是学习的过程，如柳暗花明，如众里寻他，如漫漫轻云，又如南朝四百八十寺，更如春风又绿江南岸。