ChatGPT解决这个技术问题 Extra ChatGPT

如何在 Python 中使用 XPath?

支持 XPath 的库有哪些?有完整的实现吗?图书馆是如何使用的?它的网站在哪里?

我有这种偷偷摸摸的怀疑,这个问题的答案现在有点过时了。
@gringo-suave 的回答看起来是一个不错的更新。 stackoverflow.com/a/13504511/1450294
Scrapy 提供 XPath selectors
正如@WarrenP 所说,这里的大多数答案都是非常陈旧的 Python-2.x,真的已经过时了。也许这个问题应该被标记为 python-2.x

M
Markus Safar

libxml2 有许多优点:

符合规范 积极开发和社区参与 速度。这实际上是一个围绕 C 实现的 python 包装器。无处不在。 libxml2 库无处不在,因此经过了很好的测试。

缺点包括:

符合规范。很严格。像默认命名空间处理这样的事情在其他库中更容易。使用本机代码。这可能会很痛苦,具体取决于您的应用程序是如何分布/部署的。 RPM 可以减轻这种痛苦。手动资源处理。请注意下面的示例中对 freeDoc() 和 xpathFreeContext() 的调用。这不是很 Pythonic。

如果您正在进行简单的路径选择,请坚持使用 ElementTree(包含在 Python 2.5 中)。如果您需要完整的规范合规性或原始速度并且可以处理本机代码的分发,请使用 libxml2。

libxml2 XPath 使用示例

import libxml2

doc = libxml2.parseFile("tst.xml")
ctxt = doc.xpathNewContext()
res = ctxt.xpathEval("//*")
if len(res) != 2:
    print "xpath query: wrong node set size"
    sys.exit(1)
if res[0].name != "doc" or res[1].name != "foo":
    print "xpath query: wrong node set value"
    sys.exit(1)
doc.freeDoc()
ctxt.xpathFreeContext()

ElementTree XPath 使用示例

from elementtree.ElementTree import ElementTree
mydoc = ElementTree(file='tst.xml')
for e in mydoc.findall('/foo/bar'):
    print e.get('title').text


在 osx 上使用 python 2.7.10 我必须将 ElementTree 导入为 from xml.etree.ElementTree import ElementTree
因为它是一个 C 包装器,除非您在 EC2 实例或 AWS Linux 的 Docker 映像上编译,否则您可能会发现很难将其部署到 AWS Lambda
严格不是缺点。
M
MvG

lxml package 支持 xpath。它似乎工作得很好,虽然我在 self:: 轴上遇到了一些麻烦。还有Amara,但我个人没有用过。


amara 相当不错,而且并不总是需要 xpath。
请添加一些关于如何将 XPath 与 lxml 一起使用的基本细节。
有一个标准库解决方案。我更喜欢更少的依赖。请参阅 Gringo Suave 的回答。
G
Gringo Suave

听起来像这里的 lxml 广告。 ;) ElementTree 包含在标准库中。在 2.6 及以下,它的 xpath 非常弱,但在 2.7+ much improved 中:

import xml.etree.ElementTree as ET
root = ET.parse(filename)
result = ''

for elem in root.findall('.//child/grandchild'):
    # How to make decisions based on attributes even in 2.6:
    if elem.attrib.get('name') == 'foo':
        result = elem.text
        break

u
user210794

使用 LXML。 LXML 使用 libxml2 和 libxslt 的全部功能,但将它们包装在比这些库本地的 Python 绑定更多的“Pythonic”绑定中。因此,它获得了完整的 XPath 1.0 实现。 Native ElemenTree 支持有限的 XPath 子集,尽管它可能足以满足您的需要。


S
Sam

另一个选项是 py-dom-xpath,它可以与 minidom 无缝协作,并且是纯 Python,因此可以在 appengine 上运行。

import xpath
xpath.find('//item', doc)

如果您已经在使用 minidom,则比 lxml 和 libxml2 更容易。工作精美,更“Pythonic”。 find 函数中的 context 允许您使用另一个 xpath 结果作为新的搜索上下文。
我在编写插件时也一直在使用 py-dom-xpath,因为它是纯 python。但我认为它不再被维护,并注意这个错误(“无法访问名称为'text'的元素”):code.google.com/p/py-dom-xpath/issues/detail?id=8
py-dom-xpath seems to have been mothballed years ago in 2010,请至少将其编辑到您的答案中。
0
0xAX

您可以使用:

PyXML:

from xml.dom.ext.reader import Sax2
from xml import xpath
doc = Sax2.FromXmlFile('foo.xml').documentElement
for url in xpath.Evaluate('//@Url', doc):
  print url.value

libxml2:

import libxml2
doc = libxml2.parseFile('foo.xml')
for url in doc.xpathEval('//@Url'):
  print url.content

当我尝试 PyXML 代码时,我从 from xml.dom.ext.reader import Sax2 获得了 ImportError: No module named ext
A
Aminah Nuraini

您可以使用 lxml 中的简单 soupparser

例子:

from lxml.html.soupparser import fromstring

tree = fromstring("<a>Find me!</a>")
print tree.xpath("//a/text()")

使用soupparser 有什么不同?
这只是一种选择
j
jkp

最新版本的 elementtree 很好地支持 XPath。我不是 XPath 专家,我不能确定实现是否完整,但它满足了我在 Python 中工作时的大部分需求。我还使用了 lxml 和 PyXML,我发现 etree 很好,因为它是一个标准模块。

注意:我已经找到了 lxml,对我来说它绝对是 Python 最好的 XML 库。它也很好地执行 XPath(尽管可能不是完整的实现)。


ElementTree 的 XPath 支持目前充其量是最少的。功能上存在巨大的漏洞,例如缺少属性选择器、没有非默认轴、没有子索引等。1.3 版(alpha 版)添加了其中一些功能,但它仍然是一个毫不掩饰的部分实现。
e
eLRuLL

如果您想同时拥有 XPATH 的强大功能以及随时使用 CSS 的能力,您可以使用 parsel

>>> from parsel import Selector
>>> sel = Selector(text=u"""<html>
        <body>
            <h1>Hello, Parsel!</h1>
            <ul>
                <li><a href="http://example.com">Link 1</a></li>
                <li><a href="http://scrapy.org">Link 2</a></li>
            </ul
        </body>
        </html>""")
>>>
>>> sel.css('h1::text').extract_first()
'Hello, Parsel!'
>>> sel.xpath('//h1/text()').extract_first()
'Hello, Parsel!'

如果我想获得“Link 1”和“Link 2”,我的 Xpath 应该是什么样子?
要获取文本,它应该类似于 //li/a/text()
c
codeape

另一个库是 4Suite:http://sourceforge.net/projects/foursuite/

我不知道它是否符合规范。但它对我的使用效果很好。它看起来被遗弃了。


D
David Joyner

PyXML 运行良好。

您没有说明您使用的是什么平台,但是如果您使用的是 Ubuntu,您可以通过 sudo apt-get install python-xml 获得它。我确信其他 Linux 发行版也有它。

如果您使用的是 Mac,则 xpath 已安装但无法立即访问。您可以在您的环境中设置 PY_USE_XMLPLUS 或在导入 xml.xpath 之前以 Python 方式进行设置:

if sys.platform.startswith('darwin'):
    os.environ['PY_USE_XMLPLUS'] = '1'

在最坏的情况下,您可能必须自己构建它。这个包不再维护,但仍然可以很好地构建,并且可以与现代 2.x Python 一起使用。基本文档是 here