РЕДАКТИРОВАТЬ: у меня есть гораздо более конкретное представление о том, что я ищу сейчас, поэтому я переписываю весь вопрос.
Моя общая цель — перейти к результатам поиска после первой страницы (из сценария) на веб-странице http://www.ncbi.nlm.nih.gov/images. Используя расширение Firefox «Tamper Data», я просмотрел запросы, отправленные моим браузером, и обнаружил, что могу изменить запрос http POST, чтобы перейти на любую страницу результатов.
Теперь я хотел бы сделать это в сценарии. я пробовал оба
wget --post-data 'var1=foo&var2=bar&var3=...' http://www.ncbi.nlm.nih.gov/images
и
cURL --data 'var1=foo&var2=bar&var3=...' http://www.ncbi.nlm.nih.gov/images
и я попытался сделать первоначальный запрос на http://www.ncbi.nlm.nih.gov/images?term=INSERTSEARCHTERMHERE и сохранить файл cookie, а затем загрузить файл cookie при следующем запросе, на этот раз с данными POST, указывающими номер страницы. Это не работает. Каждый раз, когда я запрашиваю первый URL-адрес, я получаю домашнюю страницу для поиска изображений или страницу с заголовком «Изображения — обнаружена ошибка» без результатов поиска. Если я запрашиваю второй URL-адрес (заменяя INSERTSEARCHTERMHERE моим фактическим условием поиска), я всегда получаю первую страницу результатов, даже если я отправил данные POST, включая переменную, запрашивающую другую страницу. Кажется, их два - может быть, три? - переменные, обозначающие номер страницы:
EntrezSystem2.PEntrez.ImagesDb.Images_ResultsPanel.Entrez_Pager.cPage=14
EntrezSystem2.PEntrez.ImagesDb.Images_ResultsPanel.Entrez_Pager.CurrPage=14
а в Tamper Data это всегда текущая страница (та, на которой я был, когда делал запрос на новую страницу):
EntrezSystem2.PEntrez.ImagesDb.Images_ResultsPanel.Entrez_Pager.cPage=1
(Да, в данных POST есть две переменные с одинаковыми именами - я не знаю, о чем это...??)
Итак, как я могу использовать cURL или wget в скрипте, чтобы получить доступ ко всем страницам результатов поиска? Спасибо за вашу помощь! (и спасибо комментаторам за помощь в прояснении вопроса!)
Дополнительная информация: существует множество полей POST, и я отправляю их все. Я скопировал это из записи Tamper Data:
Я просмотрел страницу, и кнопка «Далее» использует ссылку (тег привязки), которая содержит некоторые специальные атрибуты, а именно page=2. Затем это становится страницей = 3 по мере продвижения вперед. Это указывает вам в правильном направлении?
