ChatGPT解决这个技术问题 Extra ChatGPT

如何使用 django-storages 和 Amazon S3 设置 Django 项目,但静态文件和媒体文件使用不同的文件夹?

我正在配置一个 Django 项目,该项目使用服务器文件系统来存储应用程序静态文件 (STATIC_ROOT) 和用户上传的文件 (MEDIA_ROOT)。

我现在需要在 Amazon 的 S3 上托管所有这些内容,因此我为此创建了一个存储桶。将 django-storagesboto 存储后端一起使用,我设法将收集到的静态数据上传到 S3 存储桶:

MEDIA_ROOT = '/media/'
STATIC_ROOT = '/static/'

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = 'KEY_ID...'
AWS_SECRET_ACCESS_KEY = 'ACCESS_KEY...'
AWS_STORAGE_BUCKET_NAME = 'bucket-name'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'

然后,我遇到了一个问题:存储桶中没有使用 MEDIA_ROOTSTATIC_ROOT,因此存储桶根目录包含静态文件和用户上传的路径。

那么我可以设置:

S3_URL = 'http://s3.amazonaws.com/%s' % AWS_STORAGE_BUCKET_NAME
STATIC_URL = S3_URL + STATIC_ROOT
MEDIA_URL = 'S3_URL + MEDIA_ROOT

并在模板中使用这些设置,但在使用 django-storages 存储在 S3 中时没有静态/媒体文件的区别。

如何做到这一点?

谢谢!

因为只有一个设置可以指定存储桶的名称 (AWS_STORAGE_BUCKET_NAME),并且这是在实例化 STATICFILES_STORAGE 中指定的类的实例时使用的设置。

b
bradenm

我认为以下应该有效,并且比 Mandx 的方法更简单,尽管它非常相似:

创建一个 s3utils.py 文件:

from storages.backends.s3boto import S3BotoStorage

StaticRootS3BotoStorage = lambda: S3BotoStorage(location='static')
MediaRootS3BotoStorage  = lambda: S3BotoStorage(location='media')

然后在您的 settings.py 中:

DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3BotoStorage'

在两个 example_ 文件 here 中可以看到一个不同但相关的示例(我已经实际测试过)。


绝对比我的版本更简单更好。虽然我没有对此进行测试,但我也认为这会起作用。谢谢!我还在检查您的 django-s3storage 存储库,如果项目专门使用 S3,这似乎是一个非常轻量级的解决方案。
而且,如果您更喜欢包装,请查看 django-s3-folder-storage。我刚刚找到它,不知道它是否是相同的解决方案,但已预先打包。
这对我不起作用,媒体文件已上传到 s3 存储桶的 / 。似乎位置设置没有得到尊重。 django-storages==1.1.6,django-extensions==1.1.1,django=1.4
对我来说,拥有单独的存储桶更有意义,我不喜欢在我的设置模块之外进行配置,所以我的解决方案最终看起来像这样 gist.github.com/antonagestam/6075199
据我所知,这种解决方案不起作用。这应该是方法:gist.github.com/defrex/82680e858281d3d3e6e4
A
Armando Pérez Marqués

我目前在单独的 s3utils 模块中使用此代码:

from django.core.exceptions import SuspiciousOperation
from django.utils.encoding import force_unicode

from storages.backends.s3boto import S3BotoStorage


def safe_join(base, *paths):
    """
    A version of django.utils._os.safe_join for S3 paths.

    Joins one or more path components to the base path component intelligently.
    Returns a normalized version of the final path.

    The final path must be located inside of the base path component (otherwise
    a ValueError is raised).

    Paths outside the base path indicate a possible security sensitive operation.
    """
    from urlparse import urljoin
    base_path = force_unicode(base)
    paths = map(lambda p: force_unicode(p), paths)
    final_path = urljoin(base_path + ("/" if not base_path.endswith("/") else ""), *paths)
    # Ensure final_path starts with base_path and that the next character after
    # the final path is '/' (or nothing, in which case final_path must be
    # equal to base_path).
    base_path_len = len(base_path) - 1
    if not final_path.startswith(base_path) \
       or final_path[base_path_len:base_path_len + 1] not in ('', '/'):
        raise ValueError('the joined path is located outside of the base path'
                         ' component')
    return final_path


class StaticRootS3BotoStorage(S3BotoStorage):
    def __init__(self, *args, **kwargs):
        super(StaticRootS3BotoStorage, self).__init__(*args, **kwargs)
        self.location = kwargs.get('location', '')
        self.location = 'static/' + self.location.lstrip('/')

    def _normalize_name(self, name):
        try:
            return safe_join(self.location, name).lstrip('/')
        except ValueError:
            raise SuspiciousOperation("Attempted access to '%s' denied." % name)


class MediaRootS3BotoStorage(S3BotoStorage):
    def __init__(self, *args, **kwargs):
        super(MediaRootS3BotoStorage, self).__init__(*args, **kwargs)
        self.location = kwargs.get('location', '')
        self.location = 'media/' + self.location.lstrip('/')

    def _normalize_name(self, name):
        try:
            return safe_join(self.location, name).lstrip('/')
        except ValueError:
            raise SuspiciousOperation("Attempted access to '%s' denied." % name)

然后,在我的设置模块中:

DEFAULT_FILE_STORAGE = 'myproyect.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproyect.s3utils.StaticRootS3BotoStorage'

我必须重新定义 _normalize_name() 私有方法以使用 safe_join() 函数的“固定”版本,因为原始代码给了我 SuspiciousOperation 合法路径例外。

我将其发布以供考虑,如果有人可以提供更好的答案或改进此答案,将非常受欢迎。


O
Oscar Enrique Lotero S

文件:PROJECT_NAME/custom_storages.py

from django.conf import settings
from storages.backends.s3boto import S3BotoStorage

class StaticStorage(S3BotoStorage):
    location = settings.STATICFILES_LOCATION

class MediaStorage(S3BotoStorage):
    location = settings.MEDIAFILES_LOCATION

文件:PROJECT_NAME/settings.py

STATICFILES_LOCATION = 'static'
MEDIAFILES_LOCATION = 'media'

if not DEBUG:
    STATICFILES_STORAGE = 'PROJECT_NAME.custom_storages.StaticStorage'
    DEFAULT_FILE_STORAGE = 'PROJECT_NAME.custom_storages.MediaStorage'
    AWS_ACCESS_KEY_ID = 'KEY_XXXXXXX'
    AWS_SECRET_ACCESS_KEY = 'SECRET_XXXXXXXXX'
    AWS_STORAGE_BUCKET_NAME = 'BUCKET_NAME'
    AWS_HEADERS = {'Cache-Control': 'max-age=86400',}
    AWS_QUERYSTRING_AUTH = False

并运行:python manage.py collectstatic


如果您碰巧将此文件命名为 storages.py 而不是 custom_storages.py 您将要使用 from __future__ import absolute_import
e
e.thompsy

我认为答案很简单,默认情况下就完成了。这适用于我在带有 Django 1.6.5 和 Boto 2.28.0 的 AWS Elastic Beanstalk 上:

STATICFILES_FINDERS = (
    'django.contrib.staticfiles.finders.FileSystemFinder',
    'django.contrib.staticfiles.finders.AppDirectoriesFinder',
)

TEMPLATE_LOADERS = (
    'django.template.loaders.filesystem.Loader',
    'django.template.loaders.app_directories.Loader',
)

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = os.environ['AWS_ACCESS_KEY_ID']
AWS_SECRET_ACCESS_KEY = os.environ['AWS_SECRET_KEY']

AWS 密钥是从容器配置文件传入的,我根本没有设置 STATIC_ROOTSTATIC_URL。此外,不需要 s3utils.py 文件。这些细节由存储系统自动处理。这里的诀窍是我需要在我的模板中正确且动态地引用这个未知路径。例如:

<link rel="icon" href="{% static "img/favicon.ico" %}">

这就是我在 ~/Projects/my_app/project/my_app/static/img/favicon.ico 中处理本地(部署前)的网站图标的方式。

当然,我有一个单独的 local_settings.py 文件用于在开发环境中本地访问这些东西,它确实有 STATIC 和 MEDIA 设置。我必须做大量的实验和阅读才能找到这个解决方案,它始终如一地工作,没有错误。

我了解您需要静态和根分离,并且考虑到您只能提供一个存储桶,我会指出此方法会获取我本地环境中的所有文件夹 ~/Projects/my_app/project/my_app/static/ 并在存储桶根目录中创建一个文件夹(即:S3bucket /img/ 如上例所示)。所以你确实得到了文件的分离。例如,您可以在 static 文件夹中有一个 media 文件夹,并通过以下模板访问它:

{% static "media/" %}

我希望这有帮助。我来到这里寻找答案,并努力寻找比扩展存储系统更简单的解决方案。相反,我阅读了有关 Boto 预期用途的文档,发现我需要的很多东西都是默认内置的。干杯!


O
One Mad Geek

如果您想在媒体或静态分隔之前拥有子文件夹,您可以在 bradenm answer 之上使用 AWS_LOCATION。参考:https://django-storages.readthedocs.io/en/latest/backends/amazon-S3.html#usage

AWS_STORAGE_BUCKET_NAME = 'bucket_name'
AWS_LOCATION = 'path1/path2/'

K
Kai - Kazuya Ito

Bradenm's answer 已过时且无法使用,因此我在 2021 年 3 月对其进行了更新。

更新一:

在“settings.py”的同一文件夹中创建一个 s3utils.py

from storages.backends.s3boto3 import S3Boto3Storage

StaticRootS3Boto3Storage = lambda: S3Boto3Storage(location='static')
MediaRootS3Boto3Storage  = lambda: S3Boto3Storage(location='media')

然后,将 2 行代码添加到 settings.py 并将“myproject”更改为您的文件夹名称:

DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3Boto3Storage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3Boto3Storage'

正如我在下面强调的那样,更新后的有多个“3”。

s3utils.py:

from storages.backends.s3boto"3" import S3Boto"3"Storage
    
StaticRootS3Boto"3"Storage = lambda: S3Boto"3"Storage(location='static')
MediaRootS3Boto"3"Storage  = lambda: S3Boto"3"Storage(location='media')

设置.py:

DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3Boto"3"Storage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3Boto"3"Storage'

检查并与 Bradenm's (outdated) answer 进行比较。

“我尊重布雷登姆的回答。”


关注公众号,不定期副业成功案例分享
关注公众号

不定期副业成功案例分享

领先一步获取最新的外包任务吗?

立即订阅