Каков наилучший способ вставить 2 миллиона записей в объект Account в Salesforce?

Мы использовали загрузчик данных Apex для вставки/удаления записей, но это занимает больше времени, когда огромные данные.

Не могли бы вы сообщить нам какие-либо альтернативные способы достижения этого.


person krishna    schedule 18.04.2011    source источник


Ответы (3)


Ответ mmix правильный, я бы использовал последний загрузчик данных, включил массовый API и позволил бы ему работать с вашими данными. Вы также можете использовать партнера, например Informatica, у них большой опыт работы с большими нагрузками.

За обложками массовый API передает вашу загрузку на (избыточные, резервные) диски, а затем ставит в очередь задание на загрузку для загрузки в базу данных с параллельными потоками (если у вас более одного пакета). Это может быть довольно быстро, миллионы записей в час, но скорость может варьироваться по многим причинам. Гарантий нет, это асинхронный апи.

Если у вас много триггеров вершины или рабочего процесса, или ваша нагрузка связана с обменом обновлениями (сменами прав собственности и т. д.), это может замедлить нагрузку на много порядков.

Если вы действительно застряли с медленными загрузками, вы также можете подать заявку в службу поддержки, и один из наших специалистов по производительности проследит вашу загрузку по мере ее прохождения, чтобы увидеть, на что тратится время.

надеюсь, это поможет.

person pmorelli    schedule 01.05.2011

Если вы можете использовать платформу force.com, есть Bulk API который вы могли бы использовать. См. также эти Dreamforce 09 примечания.

person jhwist    schedule 18.04.2011

Если вы хотите сделать это самостоятельно, используйте либо BulkAPI, либо импорт данных административной настройки (Setup|Administration Setup|Data Import|Import Business Accounts). Имейте в виду, что BulkAPI имеет ограничение в 10 000 строк на пакет, а административный импорт имеет ограничение в 50 000 строк на загрузку, поэтому вам придется нарезать свои данные.

В качестве альтернативы, более новые версии внешнего приложения Data Loader поддерживают новый BulkAPI и могут нарезать вещи для вас. Вы можете загрузить Data Loader из меню «Настройка» в разделе «Настройка администрирования | Управление данными». Запустите оттуда импорт и позвольте приложению разбить данные на пакеты.

Если импорт идет слишком медленно, вы можете попытаться временно приостановить триггеры, второстепенные рабочие процессы и проверки учетной записи. Помимо этого вы мало что можете сделать, имейте в виду, что база данных Salesforce не является прямой базой данных, это уровень абстракции, который должен пережевывать каждый фрагмент данных, прежде чем он сохранится в фактической базе данных, что всегда приводит к снижению производительности.

person mmix    schedule 18.04.2011