介绍

在本文中，我们将使用Wikipedia API从Wikipedia检索数据。 由于越来越多地使用数据分析和机器学习工具，数据抓取迅速增长。 互联网是最大的信息来源，因此了解如何从各种来源获取数据非常重要。 由于Wikipedia是Internet上最大和最受欢迎的信息来源之一，因此这是一个自然的起点。

在本文中，我们将看到如何使用Python的Wikipedia API从Wikipedia网站获取各种信息。

安装

为了从Wikipedia提取数据，我们必须首先安装Python Wikipedia库，该库包装了正式的Wikipedia API。 这可以通过在命令提示符或终端中输入以下命令来完成：

安装完成后，我们可以使用Python中的Wikipedia API从Wikipedia中提取信息。 为了在Python中调用Wikipedia模块的方法，我们需要使用以下命令将其导入。

搜索标题和建议

search()方法在Wikipedia中搜索作为其参数提供的查询。 结果，此方法返回包含该查询的所有文章标题的列表。 例如：

输出：

如您在输出中看到的，将显示搜索到的标题以及相关的搜索建议。 您可以通过传递results参数的值来配置返回的搜索标题的数量，如下所示：

输出：

上面的代码仅打印查询的2个搜索结果，因为这是我们要求返回的数量。

假设我们需要获取错误输入或有错字的搜索标题" Bill Cliton"的Wikipedia搜索建议。 suggest()方法返回与作为参数输入的搜索查询相关的建议，如果找不到建议，它将返回" None"。

让我们在这里尝试一下：

输出：

您会看到我们输入了错误的" Bill clinton"，并返回了正确的建议" bill clinton"。

提取维基百科文章摘要

我们可以使用summary()方法提取Wikipedia文章的摘要。 需要为其提取摘要的文章作为参数传递给此方法。

让我们提取" Ubuntu"的摘要：

输出：

整个摘要将打印在输出中。 通过配置方法的sentences参数，我们可以自定义要显示的摘要文本中的句子数。

输出：

如您所见，Ubuntu的文本摘要仅打印了两个句子。

但是，请记住，如果页面不存在或页面是明确的，则wikipedia.summary将引发"歧义消除错误"。 让我们来看一个例子。

上面的代码抛出DisambiguationError，因为有许多文章与" key"匹配。

输出：

例如，如果您想要摘要关于"加密密钥"，则必须输入以下内容：

通过更具体的查询，我们现在在输出中获得正确的摘要。

检索完整的维基百科页面数据

为了获取Wikipedia页面的内容，类别，坐标，图像，链接和其他元数据，我们必须首先获取Wikipedia页面对象或页面的页面ID。 为此，将page()方法与页面标题一起用作该方法的参数。

看下面的例子：

此方法调用将返回一个WikipediaPage对象，我们将在接下来的几节中对其进行详细介绍。

提取页面的元数据

要获得Wikipedia页面的完整纯文本内容(不包括图像，表格等)，我们可以使用page对象的content属性。

输出：

同样，我们可以使用url属性获取页面的URL：

输出：

通过使用WikipediaPage对象的references属性，我们可以在Wikipedia页面上获取外部链接的URL。

输出：

WikipediaPage对象的title属性可用于提取页面标题。

输出：

类似地，categories属性可用于获取Wikipedia页面的类别列表：

输出量

WikipediaPage对象的links元素可用于获取页面中存在链接的页面标题列表。

输出量

根据坐标查找页面

geosearch()方法用于使用作为方法的浮点数或十进制数提供的纬度和经度参数来进行Wikipedia地理搜索。

输出：

如您所见，以上方法根据提供的坐标返回文章。

同样，我们可以设置page()的坐标属性，并获取与地理位置有关的文章。 例如：

输出：

语言设定

您可以将Wikipedia页面的语言自定义为您的母语，前提是该页面以您的母语存在。 为此，可以使用set_lang()方法。 每种语言都有一个标准的前缀代码，该代码作为参数传递给该方法。 例如，以德语获取" Ubuntu" Wiki页面的摘要文本的前两个句子。

输出量

您可以检查当前支持的ISO语言列表及其前缀，如下所示：

检索维基百科页面中的图像

WikipediaPage对象的images列表可用于从Wikipedia页面获取图像。 例如，以下脚本从Wikipedia的Ubuntu页面返回第一个图像：

输出量

上面的代码返回Wikipedia页面中索引0处存在的图像的URL。

要查看图像，您可以将以上URL复制并粘贴到浏览器中。

检索完整的HTML页面内容

要获取HTML格式的完整Wikipedia页面，可以使用以下脚本：

输出量

从输出中可以看到，将以HTML格式显示整个页面。 如果页面很大，则加载时间可能会更长一些，因此请记住，当对服务器的请求超时时，它可能会引发HTMLTimeoutError。

结论

在本教程中，我们瞥见了使用Wikipedia API从网络提取数据的过程。 我们看到了如何获取各种信息，例如页面的标题，类别，链接，图像，以及如何根据地理位置检索文章。