boto.exception.S3ResponseError: S3ResponseError: 403 Запрещено

Я пытаюсь заставить django загружать статические файлы на S3, но вместо этого я получаю запрещенную ошибку 403, и я не знаю, почему.

Полная трассировка стека:

Traceback (most recent call last):
  File "manage.py", line 14, in <module>
    execute_manager(settings)
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/django/core/management/__init__.py", line 438, in execute_manager
    utility.execute()
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/django/core/management/__init__.py", line 379, in execute
    self.fetch_command(subcommand).run_from_argv(self.argv)
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/django/core/management/base.py", line 191, in run_from_argv
    self.execute(*args, **options.__dict__)
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/django/core/management/base.py", line 220, in execute
    output = self.handle(*args, **options)
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/django/core/management/base.py", line 351, in handle
    return self.handle_noargs(**options)
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/django/contrib/staticfiles/management/commands/collectstatic.py", line 89, in handle_noargs
    self.copy_file(path, prefixed_path, storage, **options)
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/django/contrib/staticfiles/management/commands/collectstatic.py", line 184, in copy_file
    if not self.delete_file(path, prefixed_path, source_storage, **options):
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/django/contrib/staticfiles/management/commands/collectstatic.py", line 115, in delete_file
    if self.storage.exists(prefixed_path):
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/storages/backends/s3boto.py", line 209, in exists
    return k.exists()
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/boto/s3/key.py", line 391, in exists
    return bool(self.bucket.lookup(self.name))
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/boto/s3/bucket.py", line 143, in lookup
    return self.get_key(key_name, headers=headers)
  File "/home/levi/Projects/DoneBox/.virtualenv/local/lib/python2.7/site-packages/boto/s3/bucket.py", line 208, in get_key
    response.status, response.reason, '')
boto.exception.S3ResponseError: S3ResponseError: 403 Forbidden

Содержимое файла settings.py:

import os
DIRNAME = os.path.dirname(__file__)
# Django settings for DoneBox project.

DEBUG = True
TEMPLATE_DEBUG = DEBUG

ADMINS = (
    # ('Your Name', '[email protected]'),
)

MANAGERS = ADMINS

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.sqlite3', # Add 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'oracle'.
        'NAME': os.path.join(DIRNAME, "box.sqlite"),                      # Or path to database file if using sqlite3.
        'USER': '',                      # Not used with sqlite3.
        'PASSWORD': '',                  # Not used with sqlite3.
        'HOST': '',                      # Set to empty string for localhost. Not used with sqlite3.
        'PORT': '',                      # Set to empty string for default. Not used with sqlite3.
    }
}

# Local time zone for this installation. Choices can be found here:
# http://en.wikipedia.org/wiki/List_of_tz_zones_by_name
# although not all choices may be available on all operating systems.
# On Unix systems, a value of None will cause Django to use the same
# timezone as the operating system.
# If running in a Windows environment this must be set to the same as your
# system time zone.
TIME_ZONE = 'America/Denver'

# Language code for this installation. All choices can be found here:
# http://www.i18nguy.com/unicode/language-identifiers.html
LANGUAGE_CODE = 'en-us'

SITE_ID = 1

# If you set this to False, Django will make some optimizations so as not
# to load the internationalization machinery.
USE_I18N = True

# If you set this to False, Django will not format dates, numbers and
# calendars according to the current locale
USE_L10N = True

# Absolute filesystem path to the directory that will hold user-uploaded files.
# Example: "/home/media/media.lawrence.com/media/"
MEDIA_ROOT = ''

# URL that handles the media served from MEDIA_ROOT. Make sure to use a
# trailing slash.
# Examples: "http://media.lawrence.com/media/", "http://example.com/media/"
MEDIA_URL = "d1eyn4cjl5vzx0.cloudfront.net"

# Absolute path to the directory static files should be collected to.
# Don't put anything in this directory yourself; store your static files
# in apps' "static/" subdirectories and in STATICFILES_DIRS.
# Example: "/home/media/media.lawrence.com/static/"
STATIC_ROOT = os.path.join(DIRNAME, "static")

# URL prefix for static files.
# Example: "http://media.lawrence.com/static/"
STATIC_URL = "d280kzug7l5rug.cloudfront.net"

# URL prefix for admin static files -- CSS, JavaScript and images.
# Make sure to use a trailing slash.
# Examples: "http://foo.com/static/admin/", "/static/admin/".
ADMIN_MEDIA_PREFIX = '/static/admin/'

# Additional locations of static files
STATICFILES_DIRS = (
    # Put strings here, like "/home/html/static" or "C:/www/django/static".
    # Always use forward slashes, even on Windows.
    # Don't forget to use absolute paths, not relative paths.
    os.path.join(DIRNAME, "main", "static"),
)

# List of finder classes that know how to find static files in
# various locations.
STATICFILES_FINDERS = (
    'django.contrib.staticfiles.finders.FileSystemFinder',
    'django.contrib.staticfiles.finders.AppDirectoriesFinder',
    'django.contrib.staticfiles.finders.DefaultStorageFinder',
)

# Make this unique, and don't share it with anybody.
SECRET_KEY = '<snip>'

# List of callables that know how to import templates from various sources.
TEMPLATE_LOADERS = (
    'django.template.loaders.filesystem.Loader',
    'django.template.loaders.app_directories.Loader',
    'django.template.loaders.eggs.Loader',
)

MIDDLEWARE_CLASSES = (
    'django.middleware.common.CommonMiddleware',
    'django.contrib.sessions.middleware.SessionMiddleware',
    'django.middleware.csrf.CsrfViewMiddleware',
    'django.contrib.auth.middleware.AuthenticationMiddleware',
    'django.contrib.messages.middleware.MessageMiddleware',
)

ROOT_URLCONF = 'DoneBox.urls'

TEMPLATE_DIRS = (
    # Put strings here, like "/home/html/django_templates" or "C:/www/django/templates".
    # Always use forward slashes, even on Windows.
    # Don't forget to use absolute paths, not relative paths.
    os.path.join(DIRNAME, "main", "templates"),
    os.path.join(DIRNAME, "templates"),
    os.path.join(DIRNAME, "basic", "blog", "templates"),
)

INSTALLED_APPS = (
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.sites',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'django.contrib.sitemaps',
    # Uncomment the next line to enable the admin:
    'django.contrib.admin',
    # Uncomment the next line to enable admin documentation:
    'storages',
    'django.contrib.admindocs',
    'main',
    'contacts',
    'piston',
    'registration',
#    'contact_form',
    'basic',
    'basic.blog',
)

# A sample logging configuration. The only tangible logging
# performed by this configuration is to send an email to
# the site admins on every HTTP 500 error.
# See http://docs.djangoproject.com/en/dev/topics/logging for
# more details on how to customize your logging configuration.
LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'mail_admins': {
            'level': 'ERROR',
            'class': 'django.utils.log.AdminEmailHandler'
        }
    },
    'loggers': {
        'django.request': {
            'handlers': ['mail_admins'],
            'level': 'DEBUG',
            'propagate': True,
        },
        'django.db.backends': {
            'handlers': ['mail_admins'],
            'level': 'DEBUG',
            'propagate': True,
        }
    }
}

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = '<snip>'
AWS_SECRET_ACCESS_KEY = '<snip>'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_STORAGE_BUCKET_NAME = "donebox-static"
STATIC_FILES_BUCKET = "donebox-static"
MEDIA_FILES_BUCKET = "donebox-media"
ACCOUNT_ACTIVATION_DAYS = 7

EMAIL_HOST = "email-smtp.us-east-1.amazonaws.com"
EMAIL_HOST_USER = '<snip>'
EMAIL_HOST_PASSWORD = '<snip>'
EMAIL_PORT = 587
EMAIL_USE_TLS = True
TEMPLATE_CONTEXT_PROCESSORS = (
    "django.contrib.auth.context_processors.auth",
     "django.core.context_processors.debug",
     "django.core.context_processors.i18n",
     "django.core.context_processors.media",
     "django.core.context_processors.static",
     "django.contrib.messages.context_processors.messages",
     "DoneBox.main.context_processors_PandC",
     )

Содержимое файла requirements.pip:

django==1.3
django-storages==1.1.4
django-registration==0.8
django-piston==0.2.3
django-tagging==0.3.1
django-extensions==0.8
BeautifulSoup==3.2.1
boto==2.4.1
mysql-python==1.2.3
tweepy==1.9
feedparser==5.1.2
pycrypto==2.6

Поиск Google по этому исключению не дает ничего интересного. Я подозреваю, что неправильно настроил что-то, хотя я не уверен. Может ли кто-нибудь указать мне в правильном направлении? Спасибо за ваше время и внимание.


person Levi Campbell    schedule 01.06.2012    source источник


Ответы (9)


Я использую Amazon IAM для определенного идентификатора ключа и ключа доступа и только что наткнулся на тот же 403 Forbidden... Оказывается, вам нужно предоставить разрешения, которые нацелены на оба корень корзины и его подобъекты:

{
  "Statement": [
    {
      "Principal": {
          "AWS": "*"
      },
      "Effect": "Allow",
      "Action": "s3:*",
      "Resource": ["arn:aws:s3:::bucket-name/*", "arn:aws:s3:::bucket-name"]
    }
  ]
}
person AKX    schedule 04.06.2012
comment
Есть ли способ не давать слишком много разрешений? Я пытаюсь ограничиться минимумом и не нахожу достаточно информации. В частности, я хочу запретить list разрешения - person KVISH; 21.05.2014
comment
Я часами искал это. Счастливый. - person Andrew E; 09.11.2014
comment
так... куда положить это? - person WeaselFox; 19.05.2015
comment
@WeaselFox Зайдите в корзину, затем нажмите «Свойства», затем нажмите «Изменить политику корзины». - person Prisoner; 25.08.2015
comment
Остерегаться! приведенный выше пример небезопасен! установка таких широких разрешений (подстановочный знак для Principal и s3:*) крайне небезопасна, вы позволяете любому создавать, обновлять и даже удалять объекты, хранящиеся в вашей корзине S3. docs.aws. amazon.com/AmazonS3/latest/dev/ - person David M.; 15.11.2016
comment
@Дэвид М. Это предназначено для использования в пользовательской политике, а не в политике корзины. - person AKX; 16.11.2016

Я бы порекомендовал вам попробовать проверить свои учетные данные AWS отдельно, чтобы убедиться, что учетные данные действительно имеют разрешение на чтение и запись данных в корзину S3. Следующее должно работать:

>>> import boto
>>> s3 = boto.connect_s3('<access_key>', '<secret_key>')
>>> bucket = s3.lookup('donebox-static')
>>> key = bucket.new_key('testkey')
>>> key.set_contents_from_string('This is a test')
>>> key.exists()
>>> key.delete()

Вы должны попробовать тот же тест с другой корзиной ("donebox-media"). Если это работает, разрешения правильные, и проблема заключается в коде или конфигурации хранилищ Django. Если это не удается с 403, то либо:

  • Строки access_key/secret_key неверны
  • Access_key/secret_key верны, но у этой учетной записи нет необходимых разрешений для записи в корзину.

Надеюсь, это поможет. Пожалуйста, сообщите о своих выводах.

person garnaat    schedule 05.06.2012
comment
Очень хорошо. Заставил меня узнать, что помимо предоставления разрешений на ведро мне также нужно было дать разрешение на его содержимое ведра/*. - person Alper; 06.06.2014
comment
AttributeError: объект «NoneType» не имеет атрибута «new_key» - person itsji10dra; 22.07.2016
comment
Я думаю, это означает, что вызов s3.lookup() не находит искомое ведро и возвращает значение None. - person garnaat; 22.07.2016
comment
@RoNiT, вы можете попробовать s3.get_bucket('‹bucket_name', validate=False) вместо s3.lookup('bucket_name') - person Adriano Silva; 31.12.2016
comment
Чтобы сэкономить немного усилий другим и определить, что должно работать следующее: означает: set_contents_from_string() возвращает целое число, количество записанных байтов, т. е. если вы получаете вывод +integer, это сработало; key.exists() возвращает true, но я не видел нового ключа, добавленного в консоль AWS S3, но повторный запуск key.exists() после key.delete(), кажется, подтверждает, что он существует и был удален. Таким образом, было бы неплохо добавить второй key.exists() в конец вышеописанной процедуры и отметить, что выведет set_contents_from_string(). - person GG2; 09.06.2020

У меня была та же проблема, и я, наконец, обнаружил, что настоящей проблемой было ВРЕМЯ СЕРВЕРА. Он был неправильно настроен, и AWS отвечает ошибкой 403 FORBIDDEN.

Используя Debian, вы можете выполнить автоматическую настройку с помощью NTP:

ntpdate 0.pool.ntp.org

person Alan Wagner    schedule 26.05.2014
comment
СПАСИБО. То же самое случилось со мной. Время было выключено, потому что я работал внутри виртуальной машины, которую я постоянно приостанавливал и не настраивал ntp. - person wjin; 11.06.2014
comment
Только сейчас увидел это после того, как вернулся, чтобы опубликовать то же самое. Следовал учебному пособию по тестированию @garnaat, и когда я запустил команду s3.get_all_buckets(), получил 403 с некоторым xml, указывающим <Code>RequestTimeTooSkewed</Code><Message>The difference between the request time and the current time is too large.</Message>. Жаль, что я не видел этот ответ раньше. Здоровья в любом случае! - person Gesias; 12.06.2014
comment
Это, вероятно, не основная проблема, с которой сталкивается большинство людей, которые приземляются здесь, но в моем крайнем случае это было - и ntpdate спас мою задницу. Спасибо! - person palewire; 13.11.2014
comment
Моя точная проблема, работающая на виртуальной машине. - person djangoat; 04.05.2016
comment
Это была и моя проблема! Большое спасибо! - person Vladir Parrado Cruz; 19.05.2017
comment
Это действительно была проблема с нашим приложением. Сервер, на котором он работал, находился в будущем на 1 час. - person Adriaan Tijsseling; 07.09.2017
comment
да, я потерял несколько часов после того, как понял, что время сервера было неправильным, перезагрузка помогла, просто исправьте дату, исправит проблему s3 - person soField; 13.07.2018

Это также произойдет, если настройки времени вашего устройства неверны.

person altschuler    schedule 16.01.2015
comment
-1, потому что кто-то уже дал этот ответ с простым и эффективным решением проблемы за 8 месяцев до того, как вы опубликовали этот менее полезный. - person Doug McLean; 18.04.2018

На случай, если это кому-то поможет, мне пришлось добавить следующую запись конфигурации, чтобы collectstatic работал и не возвращал 403:

AWS_DEFAULT_ACL = ''
person Danra    schedule 16.08.2015
comment
Работал для меня. Но очень странно, что такая настройка может быть связана с ошибкой 403. Возможно, комбинация ключа доступа и секрета доступа не имеет права устанавливать ACL для загружаемых файлов. Я видел, что по умолчанию у boto есть default_acl = setting('AWS_DEFAULT_ACL', 'public-read') - person Azamat Tokhtaev; 07.11.2016

Также возможно, что используются неправильные учетные данные. Проверять:

import boto
s3 = boto.connect_s3('<your access key>', '<your secret key>')
bucket = s3.get_bucket('<your bucket>') # does this work?
s3 = boto.connect_s3()
s3.aws_access_key_id  # is the same key being used by default?

Если нет, взгляните на ~/.boto, ~/.aws/config и ~/.aws/credentials.

person kat    schedule 22.07.2016
comment
спасибо, это обнаружило мою проблему, переменная среды не была установлена ​​​​правильно. - person awwester; 22.09.2016

Вот доработка с минимальными разрешениями. Во всех случаях, как обсуждалось в другом месте s3:ListAllMyBuckets нужно на все ведра.

В конфигурации по умолчанию django-storages будет загружать файлы на S3 с разрешениями на публичное чтение — см. django-storages серверная часть Amazon S3

Метод проб и ошибок показал, что в этой конфигурации по умолчанию требуются только два разрешения: s3:PutObject для загрузки файла в первую очередь и s3:PutObjectAcl для установки общедоступных разрешений для этого объекта.

Никаких дополнительных действий не требуется, потому что с этого момента чтение объекта в любом случае является общедоступным.

Политика пользователя IAM — общедоступная (по умолчанию):

{
   "Version": "2012-10-17",
   "Statement": [
       {
           "Effect": "Allow",
           "Action": "s3:ListAllMyBuckets",
           "Resource": "arn:aws:s3:::*"
       },
       {
           "Effect": "Allow",
           "Action": [
               "s3:PutObject",
               "s3:PutObjectAcl"
           ],
           "Resource": "arn:aws:s3:::bucketname/*"
       }
   ]
}

Не всегда желательно иметь общедоступные объекты для чтения. Это достигается установкой соответствующего свойства в файле настроек.

Django settings.py:

...
AWS_DEFAULT_ACL = "private"
...

И тогда s3:PutObjectAcl больше не требуется, а минимальные разрешения следующие:

Политика пользователя IAM — частная:

{
   "Version": "2012-10-17",
   "Statement": [
       {
           "Effect": "Allow",
           "Action": "s3:ListAllMyBuckets",
           "Resource": "arn:aws:s3:::*"
       },
       {
           "Effect": "Allow",
           "Action": [
               "s3:PutObject",
               "s3:GetObject"
           ],
           "Resource": "arn:aws:s3:::bucketname/*"
       }
   ]
}
person freshnewpage    schedule 06.01.2017

Еще одно решение, позволяющее избежать пользовательских политик и использовать предопределенные политики AWS:

  • Добавьте разрешения на полный доступ к S3 своему пользователю S3.

    • IAM / Users / Permissions and Attach Policy
    • Добавьте политику AmazonS3FullAccess.
person marcanuy    schedule 17.11.2015

Возможно, у вас на самом деле нет доступа к корзине, которую вы пытаетесь найти/получить/создать..

Помните: имена сегментов должны быть уникальными во всей экосистеме S3, поэтому, если вы попытаетесь получить доступ (найти/получить/создать) сегменту с именем «тест», вы не будет иметь к нему доступа.

person eiTan LaVi    schedule 16.05.2017