Публикации по теме 'wget'
Использование команды wget в Google Colab для извлечения наборов данных из источника
Если вы, как и я, начали свой путь в изучении ИИ и машинного обучения с помощью Google Colab, в какой-то момент вам нужно будет загрузить наборы данных на свой Google Диск, чтобы они были доступны в Google Colab. Есть несколько способов выполнить эту задачу. Разберем их…
В качестве примера возьмем набор данных о раке груди в Висконсине: https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/
Ручная загрузка набора данных на локальный компьютер, а затем..
Вопросы по теме 'wget'
насколько надежно было бы загрузить более 100 000 файлов через wget из файла bash через ssh?
У меня есть файл bash, который содержит команды wget для загрузки более 100 000 файлов на общую сумму около 20 ГБ данных.
Bash-файл выглядит примерно так:
wget http://something.com/path/to/file.data
wget...
551 просмотров
schedule
24.06.2022
Как возобновить загрузку по ftp в любой момент? (скрипт оболочки, опция wget)?
Я хочу скачать огромный файл с ftp-сервера кусками по 50-100 МБ каждый. В каждой точке я хочу иметь возможность установить «начальную» точку и длину нужного фрагмента. У меня не будут сохраняться «предыдущие» фрагменты локально (т. е. я не могу...
15565 просмотров
schedule
30.05.2022
Загрузка веб-страницы. ОК с wget, сбой с java
Я пытаюсь загрузить следующую страницу: http://structureddata.wikispaces.com/Test
wget без каких-либо опций не работает:
wget "http://structureddata.wikispaces.com/Test"
(...) connect to session.wikispaces.com insecurely, use...
7510 просмотров
schedule
02.06.2023
Как получить содержимое веб-страницы в переменной оболочки?
В Linux, как я могу получить URL-адрес и получить его содержимое в переменной в сценарии оболочки?
301681 просмотров
schedule
06.02.2023
Почему Wget имеет заголовок узла в своем HTTP-запросе?
Основное различие между HTTP/1.0 и HTTP/1.1 заключается в том, что в HTTP/1.1 есть обязательный заголовок Host (источник: HTTP Pocket Reference — O'reilly).
Итак, почему этот Wget, использующий протокол HTTP/1.0, имеет заголовок хоста?
Мой...
6478 просмотров
schedule
26.07.2022
Использование wget и cron для загрузки веб-страниц
Итак, я знаю, что могу использовать:
wget -r <website> > <file>
чтобы получить веб-страницу и сохранить ее. Мой вопрос в том, как бы я использовал cron и wget, чтобы получить веб-страницу на почасовой или даже минутной основе,...
6751 просмотров
schedule
18.02.2023
Как скачать файлы с помощью Python?
Всем привет. Я новичок в Python и использую Python 2.5 в CentOS.
Мне нужно скачать файлы, как это делает WGET .
Я провел некоторый поиск, и есть несколько решений, очевидным способом является следующее:
import urllib2
mp3file =...
5165 просмотров
schedule
13.05.2023
Использование wget для загрузки каталогов по FTP без передачи пароля в качестве параметра
Когда у меня нет доступа к серверу по SSH, я обычно загружаю файлы по FTP, например:
wget -r ftp://user:pass@server/path/to/dir
Как сделать мой пароль более безопасным? Мне не нравится, что пароль указан в команде, но когда я пытаюсь сделать...
8054 просмотров
schedule
02.08.2022
Используйте cURL или wget с http POST, чтобы получить результаты поиска после первой страницы.
РЕДАКТИРОВАТЬ: у меня есть гораздо более конкретное представление о том, что я ищу сейчас, поэтому я переписываю весь вопрос.
Моя общая цель — перейти к результатам поиска после первой страницы (из сценария) на веб-странице...
1807 просмотров
schedule
03.10.2023
Wget не загружает каждую папку
Эй, у меня есть скрипт bash, запускающий команду wget для получения каталога:
wget -r -nH --cut-dirs=5 "ftp://$USER:[email protected]/subdomains/cydia/httpdocs/theme/themes/$theme_root"
И что он должен сделать, это загрузить структуру...
901 просмотров
schedule
28.03.2023
Зеркалирование с помощью регулярных выражений в wget
Я использую wget и пытаюсь отразить все 98 папок на веб-сайте. Какой будет синтаксис для выполнения «wget -mk http://example.com/folder[1-98]/»?
Спасибо.
626 просмотров
schedule
06.12.2022
Можно ли указать тип содержимого файла для загрузки с помощью Wget?
Я хочу использовать wget для загрузки файлов, связанных с главной страницы веб-сайта, но я хочу загружать только текстовые/html-файлы. Можно ли ограничить wget текстовыми/html файлами на основе типа содержимого mime?
2747 просмотров
schedule
28.03.2023
Получение списка файлов на веб-сервере
Все,
Я хотел бы получить список файлов с сервера с полным URL-адресом. Например, я хотел бы получить все файлы TIFF отсюда.
http://hyperquad.telascience.org/naipsource/Texas/20100801/ *
Я могу загрузить все файлы .tif с помощью wget, но я...
46019 просмотров
schedule
08.07.2023
http-метод wget не поддерживается
Я пытаюсь получить доступ к http-серверу в приложении для iPad под названием «Фото WiFi» из командной строки с помощью wget. Он работает с curl и через firefox, но я получаю ошибку 505 в wget.
Как я могу исправить эту ошибку?
Вывод команд,...
4323 просмотров
schedule
04.10.2022
Как загрузить все перечисленные файлы с веб-страницы, где URL-адреса не имеют определенных имен файлов
Я хочу загрузить все наборы данных с этой страницы: http://www.data.gov/catalog/geodata/category/0/agency/0/filter/sort/page/1/count/20
Я пробовал wget, но вот проблема:
В URL-адресе ссылки на файл нет имени файла, и они могут иметь разные...
341 просмотров
schedule
24.12.2022
Запуск wget с PHP и apache (MAMP)
У меня проблемы с запуском wget через php exec или системные функции. Конфигурация с MAMP.
Я успешно запускаю основные команды, такие как («whoami», «pwd» и т. д.).
Я даже изменил пользователя apache на пользователя root, и все равно ничего. В...
986 просмотров
schedule
18.05.2022
500 на javascript, wget. Но работает из браузера
У меня есть сервер Django, работающий на локальном хосте. Когда я набираю запрос на получение в браузере следующим образом:
http://localhost:9000/article/asdasd
У меня отображается правильная страница. Но когда я пробую это в wget или из...
713 просмотров
schedule
25.11.2022
Zenity не отменяет и не отображает сообщение, потому что не видит переменную
Я написал простой скрипт для wget и zenity для отмены:
#!/bin/bash
((
wget http://d3qnbzt7ix5jlv.cloudfront.net/ubuntu-12.04-desktop-i386.iso & export PID=$$
wait $PID
export YES=$?
)&) | zenity --progress --pulsate --auto-close...
1093 просмотров
schedule
21.07.2023
правильное использование команды exec для вызова wget в unix
я пытаюсь вызвать wget из программы c++ в unix. Я хочу вызвать его внутри дочернего процесса после использования fork, мне нужно использовать exec, а не system(). что я сделал
pid_t pID = fork();
if (pID == 0)
{
execl("/bin/wget","wget",...
1093 просмотров
schedule
01.11.2023
Как правильно загрузить поддомен веб-сайта в Linux с помощью wget или других инструментов?
Я хочу скачать все отрывки с http://source.yeeyan.org . В нем много страниц. Например. http://source.yeeyan.org/?page=22202 Итак, как использовать wget или какие-то другие инструменты в Linux для их загрузки? В настоящее время я использую...
2723 просмотров
schedule
31.07.2023
