ChatGPT解决这个技术问题 Extra ChatGPT

如何使用 Django 进行“批量更新”?

我想用 Django 更新一个表——在原始 SQL 中是这样的:

update tbl_name set name = 'foo' where name = 'bar'

我的第一个结果是这样的——但这很讨厌,不是吗?

list = ModelClass.objects.filter(name = 'bar')
for obj in list:
    obj.name = 'foo'
    obj.save()

有没有更优雅的方式?

您可能正在寻找批量插入。看看stackoverflow.com/questions/4294088/…
我不喜欢插入新数据 - 只是更新现有数据。
也许在 select_for_update 的帮助下? docs.djangoproject.com/en/dev/ref/models/querysets/…
ModelClass 方法有什么不好的地方?然后以:stackoverflow.com/questions/16853649/… 的形式提供给 Django

F
Flimm

更新:

Django 2.2 版本现在有一个 bulk_update

老答案:

请参阅以下 django 文档部分

一次更新多个对象

简而言之,您应该能够使用:

ModelClass.objects.filter(name='bar').update(name="foo")

您还可以使用 F 对象来执行诸如递增行之类的操作:

from django.db.models import F
Entry.objects.all().update(n_pingbacks=F('n_pingbacks') + 1)

请参阅 documentation

但是,请注意:

这不会使用 ModelClass.save 方法(所以如果你里面有一些逻辑,它不会被触发)。

不会发出 django 信号。

您不能在切片 QuerySet 上执行 .update() ,它必须在原始 QuerySet 上,因此您需要依靠 .filter() 和 .exclude() 方法。


另请注意,由于不使用 save(),带有 auto_now=True(“已修改”列)的 DateTimeField 字段将不会被更新。
但是 ModelClass.objects.filter(name = 'bar').update(name="foo") 不能满足批量更新的目的,如果我有不同的 id 的不同数据,我怎么能不使用循环来做到这一点?
@shihon我不确定我是否正确,但我在答案中添加了示例。
@Shashank 你有没有为你的案子找到任何解决方案?我也有同样的情况。
对象不能用于在 .update 方法中引用不同的模型...例如,您不能使用 Entry.objects.all().update(title=F('blog__title'))。文档对此有一个小小的提及。如果你想从另一个模型中提取数据来更新你的条目,你必须运行一个 for 循环
n
nu everest

考虑使用找到的 django-bulk-update here on GitHub

安装:pip install django-bulk-update

实施:(代码直接取自项目自述文件)

from bulk_update.helper import bulk_update

random_names = ['Walter', 'The Dude', 'Donny', 'Jesus']
people = Person.objects.all()

for person in people:
    r = random.randrange(4)
    person.name = random_names[r]

bulk_update(people)  # updates all columns using the default db

更新:正如 Marc 在评论中指出的那样,这不适合一次更新数千行。虽然它适用于 10 到 100 的小批量。适合您的批处理大小取决于您的 CPU 和查询复杂性。这个工具更像是手推车而不是自卸卡车。


我尝试了 django-bulk-update,但我个人不鼓励使用它。它在内部所做的是创建一个如下所示的单个 SQL 语句: UPDATE "table" SET "field" = CASE "id" WHEN %s THEN %s WHEN %s THEN %s [...] WHERE id in ( %s, %s, [...]);。这对于几行来说是可以的(当不需要批量更新器时),但是对于 10,000 行,查询非常复杂,以至于 postgres 在 CPU 上花费更多时间以 100% 理解查询,而不是节省写入磁盘的时间.
@MarcGarcia 好点。我发现许多开发人员在不知道它们的影响的情况下使用外部库
@MarcGarcia 我不同意批量更新没有价值,只有在需要数千次更新时才真正需要。由于您提到的原因,不建议使用它一次执行 10,000 行,但是使用它一次更新 50 行比使用 50 个单独的更新请求访问数据库要高效得多。
我发现的最佳解决方案是:a) 使用 @transaction.atomic 装饰器,它通过使用单个事务来提高性能,或者 b) 在临时表中进行批量插入,然后从临时表更新到原始表。
我知道这是一个旧线程,但实际上 CASE/WHERE 并不是唯一的方法。对于 PostgreSQL,还有其他方法,但它们是特定于数据库的,例如 stackoverflow.com/a/18799497 但是我不确定这在 ANSI SQL 中是否可行
T
Tim Tisdall

Django 2.2 版本现在有一个 bulk_update 方法 (release notes)。

https://docs.djangoproject.com/en/stable/ref/models/querysets/#bulk-update

例子:

# get a pk: record dictionary of existing records
updates = YourModel.objects.filter(...).in_bulk()
....
# do something with the updates dict
....
if hasattr(YourModel.objects, 'bulk_update') and updates:
    # Use the new method
    YourModel.objects.bulk_update(updates.values(), [list the fields to update], batch_size=100)
else:
    # The old & slow way
    with transaction.atomic():
        for obj in updates.values():
            obj.save(update_fields=[list the fields to update])

A
Andreas Bergström

如果你想在一组行上设置相同的值,你可以使用 update() 方法结合任何查询词来更新一个查询中的所有行:

some_list = ModelClass.objects.filter(some condition).values('id')
ModelClass.objects.filter(pk__in=some_list).update(foo=bar)

如果您想根据某些条件更新具有不同值的行集合,您可以在最好的情况下根据值对更新进行批处理。假设您有 1000 行想要将列设置为 X 值之一,那么您可以事先准备批次,然后只运行 X 更新查询(每个都基本上具有上面第一个示例的形式)+ 初始 SELECT -询问。

如果每一行都需要一个唯一值,则无法避免每次更新一个查询。如果您在后一种情况下需要性能,也许可以研究其他架构,如 CQRS/事件溯源。


J
Jasir

这是我在互联网上找到的关于上述问题的有用内容

https://www.sankalpjonna.com/learn-django/running-a-bulk-update-with-django

低效的方式

model_qs= ModelClass.objects.filter(name = 'bar')
for obj in model_qs:
    obj.name = 'foo'
    obj.save()

高效的方法

ModelClass.objects.filter(name = 'bar').update(name="foo") # for single value 'foo' or add loop

使用 bulk_update

update_list = []
model_qs= ModelClass.objects.filter(name = 'bar')
for model_obj in model_qs:
    model_obj.name = "foo" # Or what ever the value is for simplicty im providing foo only
    update_list.append(model_obj)
    
ModelClass.objects.bulk_update(update_list,['name'])

使用原子事务

from django.db import transaction

with transaction.atomic():
    model_qs = ModelClass.objects.filter(name = 'bar')
    for obj in model_qs:
       ModelClass.objects.filter(name = 'bar').update(name="foo")

任何赞成票?提前致谢:感谢您的关注;)


您的 bulk_update 示例对我来说毫无意义-您为什么要从数据库中重新提取 model_obj ?与您引用的文章相同-它的 bulk_update 示例根本不需要任何 db select,它只需执行 User.objects.bulk_update([User(id=k, score=v) for k, v in user_ids_dict.items()], ['score'])...
k
kathir raja

要更新相同的值,我们可以简单地使用它

ModelClass.objects.filter(name = 'bar').update(name='foo')

使用不同的值进行更新

list = ModelClass.objects.filter(name = 'bar')
obj_to_be_update = []
for obj in list:
    obj.name = "Dear "+obj.name
    obj_to_be_update.append(obj)
ModelClass.objects.bulk_update(obj_update_list, ['name'], batch_size=1000)

它不会每次都触发保存信号,而是我们将所有要更新的对象保留在列表中并立即触发更新信号。


您的第二种情况仍应适用于更新,如下所示:ModelClass.objects.filter(name='bar').update(name = 'Dear ' + F('name'))
是的,我同意,但我在这里提到循环是为了增加更多的可用性,不仅是连接字符串,我们甚至可以做一些事情,比如计算、从其他来源读取数据、在循环中执行 if-else 等等
s
shivam sharma

IT 返回的对象数量在表中更新。

update_counts = ModelClass.objects.filter(name='bar').update(name="foo")

您可以参考此链接以获取有关批量更新和创建的更多信息。 Bulk update and Create