Python 在编写网络爬虫常常用到的一些库。
Python爬虫网络库主要包括:urllib、requests、lxml、fake-useragent、bs4(BeautifulSoup)、grab、pycurl、urllib3、httplib2、RoboBrowser 、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq、aiohttp等。
爬虫框架
Web 框架库
Re库介绍:
正则表达式的表示类型:
raw string类型(原生字符串类型):
当正则表达式包含转义符时,建议使用raw string类型来表示正则表达式。
Re库主要功能函数:
函数
re.compile() 返回的是一个匹配对象,它单独使用就没有任何意义,需要和findall(), search(), match()搭配使用。
re.search(pattern,string,flags=0) 在一个字符串中搜索匹配正则表达式的第一个位置,返回match对象。 pattern:正则表达式的字符串或原生字符串表示 string:待匹配字符串 flags:正则表达式使用时的控制标记 re.I(re.IGNORECASE):忽略正则表达式的大小写,[A-Z]能够匹配小写字符 re.M(re.MULTILINE):正则表达式中的^操作符能够将给定字符串的每行当作匹配开始 re.S(re.DOTALL):正则表达式中的.操作符能够匹配所有字符,默认匹配除换行外的所有字符****!!!!**** re.match(pattern, string, flags = 0) 从一个字符串的开始位置起匹配正则表达式,返回match对象。 pattern:正则表达式的字符串或原生字符串表示 string:待匹配字符串 flags:正则表达式使用时的控制标记 re.findall(pattern, string, flags = 0) 搜索字符串,以列表类型返回全部能匹配的子串。 pattern:正则表达式的字符串或原生字符串表示 string:待匹配字符串 flags:正则表达式使用时的控制标记 re.split(pattern, string, maxsplit = 0, flags = 0) 搜索字符串,以列表类型返回全部能匹配的子串。 pattern:正则表达式的字符串或原生字符串表示 string:待匹配字符串 maxsplit:最大分割数,剩余部分作为最后一个元素输出 flags:正则表达式使用时的控制标记 re.finditer(pattern, string, flags = 0) 搜索字符串,返回一个匹配结果的迭代类型,每个迭代元素是match对象。 pattern:正则表达式的字符串或原生字符串表示 string:待匹配字符串 flags:正则表达式使用时的控制标记 re.compile() compile()的定义: compile(pattern, flags=0) Compile a regular expression pattern, returning a pattern object. 从compile()函数的定义中,可以看出返回的是一个匹配对象,它单独使用就没有任何意义,需要和findall(), search(), match()搭配使用。 compile()与findall()一起使用,返回一个列表。 import re def main(): content = 'Hello, I am Jerry, from Chongqing, a montain city, nice to meet you……' regex = re.compile('\w*o\w*') x = regex.findall(content) print(x) if __name__ == '__main__': main() # ['Hello', 'from', 'Chongqing', 'montain', 'to', 'you'] compile()与match()一起使用,可返回一个class、str、tuple。但是一定需要注意match(),从位置0开始匹配,匹配不到会返回None,返回None的时候就没有span/group属性了,并且与group使用,返回一个单词‘Hello’后匹配就会结束。 import re def main(): content = 'Hello, I am Jerry, from Chongqing, a montain city, nice to meet you……' regex = re.compile('\w*o\w*') y = regex.match(content) print(y) print(type(y)) print(y.group()) print(y.span()) if __name__ == '__main__': main() # <_sre.SRE_Match object; span=(0, 5), match='Hello'> ## Hello # (0, 5) compile()与search()搭配使用, 返回的类型与match()差不多, 但是不同的是search(), 可以不从位置0开始匹配。但是匹配一个单词之后,匹配和match()一样,匹配就会结束。 re.sub(pattern, repl, string, count = 0, flags = 0) 在一个字符串中替换所有匹配正则表达式的子串,返回替换后的字符串。 pattern:正则表达式的字符串或原生字符串表示 repl:替换匹配字符串的字符串 string:待匹配字符串 count:匹配的最大替换次数 flags:正则表达式使用时的控制标记
此外我这里准备了详细的Python资料,除了为你提供一条清晰的学习路径,我甄选了最实用的学习资源以及庞大的实例库。短时间的学习,你就能够很好地掌握爬虫这个技能,获取你想得到的数据。
我们把Python的所有知识点,都穿插在了漫画里面。
在Python小课中,你可以通过漫画的方式学到知识点,难懂的专业知识瞬间变得有趣易懂。
你就像漫画的主人公一样,穿越在剧情中,通关过坎,不知不觉完成知识的学习。
这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要也可以扫描下方csdn官方二维码或者点击主页和文章下方的微信卡片获取领取方式,【保证100%免费】