爱玺玺

爱玺玺的生活日记本。wx:lb87626

python scrapy管道文件使用,保存下载数据到json

接着上面的文章

先在setting文件打开pipeline管道配置

1597039464(1).jpg


写管道文件程序

python xpath获取当前节点属性

import scrapy

from bs4 import BeautifulSoup as bs


class MyspiderSpider(scrapy.Spider):

    name = 'myspider'

    allowed_domains = ['janpn.com']

    start_urls

第一个python爬虫程序

链接:https://pan.baidu.com/s/177I6mxhRtZyozWYKKkelGw 

提取码:81fg


导出json文件,但是中文是unicode码,可以用转码工具转码

1596871734(1).jpg

scrapy爬取第一个页面

继续上一篇文章

在爬虫文件myspider.py 写代码:

import scrapy



class MyspiderSpider(scrapy.Spider):

#爬虫名

    name = 'itcast'

    #允许爬的域名

scrapy创建爬虫第一步


python发送新浪邮件

#!/usr/bin/python

import re

import smtplib

from email.mime.text import MIMEText

from email.header import Header



from email.mime.multipart import MIMEMultipart

from email import encoders

python正则表达式匹配所有格式邮箱

#!/usr/bin/python

import re

f = open("C:\\Users\\Administrator\\Desktop\\email.txt","r")   #设置文件对象

data = f.readlines()  #直接将文件中按行读到list里,效果与方法2一样20 

f.close()      &nb

Powered By Z-BlogPHP 1.4 Deeplue Build 150101

Copyright Your WebSite.Some Rights Reserved.

蜀ICP备11021721号-5