Python3爬虫入门：解析链接

　　，urllib库里还提供了parse这个模块，它定义了处理URL的标准接口，例如实现URL各部分的抽取、合并以及链接转换。它支持如下协议的URL处理：file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、 sip、sips、snews、svn、svn+ssh、telnet和wais。本节中，我们介绍一下该模块中常用的方法来看一下它的便捷之处。

　　1. urlparse()

　　该方法可以实现URL的识别和分段，这里先用一个实例来看一下：

　　from urllib.parse import urlparse

　　result = urlparse('http://www.baidu.com/index.html;user?id=5#comment')

　　print(type(result), result)

　　这里我们利用urlparse()方法进行了一个URL的解析。首先，输出了解析结果的类型，然后将结果也输出出来。

　　运行结果如下：

　　ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5',

　　fragment='comment')

　　可以看到，返回结果是一个ParseResult类型的对象，它包含6部分，分别是scheme、netloc、path、params、query和fragment。

　　观察一下该实例的URL：

　　http://www.baidu.com/index.html;user?id=5#comment

　　可以发现，urlparse()方法将其拆分成了6部分。大体观察可以发现，解析时有特定的分隔符。比如，://前面的就是scheme，代表协议;第一个/前面便是netloc，即域名;分号;前面是params，代表参数。

　　所以，可以得出一个标准的链接格式，具体如下：

　　scheme://netloc/path;parameters?query#fragment

　　一个标准的URL都会符合这个规则，利用urlparse()方法可以将它拆分开来。

　　除了这种最基本的解析方式外，urlparse()方法还有其他配置吗?接下来，看一下它的API用法：

　　urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

　　可以看到，它有3个参数。

　　urlstring：这是必填项，即待解析的URL。

　　scheme：它是默认的协议(比如http或https等)。假如这个链接没有带协议信息，会将这个作为默认的协议。我们用实例来看一下：

　　from urllib.parse import urlparse

　　result = urlparse('www.baidu.com/index.html;user?id=5#comment', scheme='https')

　　print(result)

　　运行结果如下：

　　ParseResult(scheme='https', netloc='', path='www.baidu.com/index.html', params='user', query='id=5',

　　fragment='comment')

　　可以发现，我们提供的URL没有包含最前面的scheme信息，但是通过指定默认的scheme参数，返回的结果是https。

　　假设我们带上了scheme：

　　result = urlparse('http://www.baidu.com/index.html;user?id=5#comment', scheme='https')

　　则结果如下：

　　ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')

　　可见，scheme参数只有在URL中不包含scheme信息时才生效。如果URL中有scheme信息，就会返回解析出的scheme。

　　allow_fragments：即是否忽略fragment。如果它被设置为False，fragment部分就会被忽略，它会被解析为path、parameters或者query的一部分，而fragment部分为空。下面我们用实例来看一下：

　　from urllib.parse import urlparse

　　result = urlparse('http://www.baidu.com/index.html;user?id=5#comment', allow_fragments=False)

　　print(result)

　　运行结果如下：

　　ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5#comment',

　　fragment='')

　　假设URL中不包含params和query，我们再通过实例看一下：

　　from urllib.parse import urlparse

　　result = urlparse('http://www.baidu.com/index.html#comment', allow_fragments=False)

　　print(result)

　　运行结果如下：

　　ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html#comment', params='', query='', fragment='')

　　可以发现，当URL中不包含params和query时，fragment便会被解析为path的一部分。

　　返回结果ParseResult实际上是一个元组，我们可以用索引顺序来获取，也可以用属性名获取。示例如下：

　　from urllib.parse import urlparse

　　result = urlparse('http://www.baidu.com/index.html#comment', allow_fragments=False)

　　print(result.scheme, result[0], result.netloc, result[1], sep='\n')

　　这里我们分别用索引和属性名获取了scheme和netloc，其运行结果如下：

　　http

　　http

　　www.baidu.com

　　www.baidu.com

　　可以发现，二者的结果是一致的，两种方法都可以成功获取。

　　2. urlunparse()

　　有了urlparse()，相应地就有了它的对立方法urlunparse()。它接受的参数是一个可迭代对象，但是它的长度必须是6，否则会抛出参数数量不足或者过多的问题。先用一个实例看一下：

　　from urllib.parse import urlunparse

　　data = ['http', 'www.baidu.com', 'index.html', 'user', 'a=6', 'comment']

　　print(urlunparse(data))

　　这里参数data用了列表类型。当然，你也可以用其他类型，比如元组或者特定的数据结构。

　　运行结果如下：

　　http://www.baidu.com/index.html;user?a=6#comment

　　这样我们就成功实现了URL的构造。

　　3. urlsplit()

　　这个方法和urlparse()方法非常相似，只不过它不再单独解析params这一部分，只返回5个结果。上面例子中的params会合并到path中。示例如下：

　　from urllib.parse import urlsplit

　　result = urlsplit('http://www.baidu.com/index.html;user?id=5#comment')

　　print(result)

　　运行结果如下：

　　SplitResult(scheme='http', netloc='www.baidu.com', path='/index.html;user', query='id=5', fragment='comment')

　　可以发现，返回结果是SplitResult，它其实也是一个元组类型，既可以用属性获取值，也可以用索引来获取。示例如下：

　　from urllib.parse import urlsplit

　　result = urlsplit('http://www.baidu.com/index.html;user?id=5#comment')

　　print(result.scheme, result[0])

　　运行结果如下：

　　http http

　　4. urlunsplit()

　　与urlunparse()类似，它也是将链接各个部分组合成完整链接的方法，传入的参数也是一个可迭代对象，例如列表、元组等，唯一的区别是长度必须为5。示例如下：

　　from urllib.parse import urlunsplit

　　data = ['http', 'www.baidu.com', 'index.html', 'a=6', 'comment']

　　print(urlunsplit(data))

　　运行结果如下：

　　http://www.baidu.com/index.html?a=6#comment

　　5. urljoin()

　　有了urlunparse()和urlunsplit()方法，我们可以完成链接的合并，不过前提必须要有特定长度的对象，链接的每一部分都要清晰分开。

　　此外，生成链接还有另一个方法，那就是urljoin()方法。我们可以提供一个base_url(基础链接)作为第一个参数，将新的链接作为第二个参数，该方法会分析base_url的scheme、netloc和path这3个内容并对新链接缺失的部分进行补充，最后返回结果。

　　下面通过几个实例看一下：

　　from urllib.parse import urljoin

　　print(urljoin('http://www.baidu.com', 'FAQ.html'))

　　print(urljoin('http://www.baidu.com', 'https://cuiqingcai.com/FAQ.html'))

　　print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html'))

　　print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html?question=2'))

　　print(urljoin('http://www.baidu.com?wd=abc', 'https://cuiqingcai.com/index.php'))

　　print(urljoin('http://www.baidu.com', '?category=2#comment'))

　　print(urljoin('www.baidu.com', '?category=2#comment'))

　　print(urljoin('www.baidu.com#comment', '?category=2'))

　　运行结果如下：

　　http://www.baidu.com/FAQ.html

　　https://cuiqingcai.com/FAQ.html

　　https://cuiqingcai.com/FAQ.html

　　https://cuiqingcai.com/FAQ.html?question=2

　　https://cuiqingcai.com/index.php

　　http://www.baidu.com?category=2#comment

　　www.baidu.com?category=2#comment

　　www.baidu.com?category=2

　　可以发现，base_url提供了三项内容scheme、netloc和path。如果这3项在新的链接里不存在，就予以补充;如果新的链接存在，就使用新的链接的部分。而base_url中的params、query和fragment是不起作用的。

　　通过urljoin()方法，我们可以轻 松实现链接的解析、拼合与生成。

　　6. urlencode()

　　这里我们再介绍一个常用的方法——urlencode()，它在构造GET请求参数的时候非常有用，示例如下：

　　from urllib.parse import urlencode

　　params = {

　　'name': 'germey',

　　'age': 22

　　}

　　base_url = 'http://www.baidu.com?'

　　url = base_url + urlencode(params)

　　print(url)

　　这里首先声明了一个字典来将参数表示出来，然后调用urlencode()方法将其序列化为GET请求参数。

　　运行结果如下：

　　http://www.baidu.com?name=germey&age=22

　　可以看到，参数就成功地由字典类型转化为GET请求参数了。

　　这个方法非常常用。有时为了更加方便地构造参数，我们会事先用字典来表示。要转化为URL的参数时，只需要调用该方法即可。

　　7. parse_qs()

　　有了序列化，必 然就有反序列化。如果我们有一串GET请求参数，利用parse_qs()方法，就可以将它转回字典，示例如下：

　　from urllib.parse import parse_qs

　　query = 'name=germey&age=22'

　　print(parse_qs(query))

　　运行结果如下：

　　{'name': ['germey'], 'age': ['22']}

　　可以看到，这样就成功转回为字典类型了。

　　8. parse_qsl()

　　另外，还有一个parse_qsl()方法，它用于将参数转化为元组组成的列表，示例如下：

　　from urllib.parse import parse_qsl

　　query = 'name=germey&age=22'

　　print(parse_qsl(query))

　　运行结果如下：

　　[('name', 'germey'), ('age', '22')]

　　可以看到，运行结果是一个列表，而列表中的每一个元素都是一个元组，元组的第一个内容是参数名，第二个内容是参数值。

　　9. quote()

　　该方法可以将内容转化为URL编码的格式。URL中带有中文参数时，有时可能会导致乱码的问题，此时用这个方法可以将中文字符转化为URL编码，示例如下：

　　from urllib.parse import quote

　　keyword = '壁纸'

　　url = 'https://www.baidu.com/s?wd=' + quote(keyword)

　　print(url)

　　这里我们声明了一个中文的搜索文字，然后用quote()方法对其进行URL编码，最后得到的结果如下：

　　https://www.baidu.com/s?wd=壁纸

　　10. unquote()

　　有了quote()方法，当然还有unquote()方法，它可以进行URL解码，示例如下：

　　from urllib.parse import unquote

　　url = 'https://www.baidu.com/s?wd=壁纸'

　　print(unquote(url))

　　这是上面得到的URL编码后的结果，这里利用unquote()方法还原，结果如下：

　　https://www.baidu.com/s?wd=壁纸

　　可以看到，利用unquote()方法可以方便地实现解码。

　　如今python编程语言市场需求大，薪资待遇上万尽在咫尺！如果你也想学习python技术可以填写下面表单，Python学习资料限时免费领取！