Вопросы по теме 'large-files'
Чтение очень больших файлов в PHP
fopen не работает, когда я пытаюсь прочитать файл очень среднего размера в PHP . A 6 meg file заставляет его задыхаться, хотя файлы меньшего размера вокруг 100k вполне подойдут. Я читал, что иногда необходимо перекомпилировать PHP с флагом...
85762 просмотров
schedule
19.08.2022
Как лучше всего использовать XPath с очень большими XML-файлами в .NET?
Мне нужно выполнить некоторую обработку довольно больших XML-файлов (большие здесь потенциально превышающие гигабайт) на C #, включая выполнение некоторых сложных запросов xpath. Моя проблема заключается в том, что стандартным способом, которым я...
16836 просмотров
schedule
03.03.2023
iostream и поддержка больших файлов
Я пытаюсь найти окончательный ответ и не могу, поэтому я надеюсь, что кто-то может знать.
Я разрабатываю приложение на C++, используя GCC 4.x в Linux (32-разрядная ОС). Это приложение должно иметь возможность читать файлы размером > 2 ГБ.
Мне...
4380 просмотров
schedule
29.03.2023
Как перенести большой файл из надстройки MS Word (VBA) на веб-сервер?
Обзор
У меня есть надстройка Microsoft Word, написанная на VBA (Visual Basic для приложений), которая сжимает документ и все связанное с ним содержимое (встроенный носитель) в zip-архив. После создания zip-архива он затем превращает файл в массив...
3637 просмотров
schedule
25.03.2023
Как отправить большой файл с клиента на сервер с помощью WCF?
Как отправить большой файл с клиента на сервер с помощью WCF в C#? Ниже код конфигурации.
<system.serviceModel>
<bindings>
<basicHttpBinding>
<binding name="HttpStreaming_IStreamingSample"...
14905 просмотров
schedule
26.09.2022
Каковы наиболее эффективные идиомы для потоковой передачи данных с диска с постоянным использованием пространства?
описание проблемы
Мне нужно передавать большие файлы с диска. Предположим, что файлы больше, чем поместится в памяти. Кроме того, предположим, что я выполняю некоторые вычисления с данными, и результат достаточно мал, чтобы поместиться в памяти....
472 просмотров
schedule
10.11.2022
Как я могу быстро разобрать большие (> 10 ГБ) файлы?
Мне нужно обработать текстовые файлы размером 10-20Гб формата: поле1 поле2 поле3 поле4 поле5
Я хотел бы разобрать данные из каждой строки field2 в один из нескольких файлов; файл, в который это помещается, определяется построчно значением в...
8772 просмотров
schedule
13.06.2022
Почему wxTextCtrl так медленно отображает текст?
У меня есть wxTextCtrl, и мне нужно поместить в него очень большую строку. (Как строка 15 МБ) Единственная проблема в том, что это очень медленно. Вот что я делаю:
char * buff = ...
wxString data(buff, wxConvUTF8);
text->ChangeValue(data);...
904 просмотров
schedule
12.02.2023
Использование cURL для загрузки больших файлов XML
Я работаю с PHP, и мне нужно проанализировать несколько довольно больших файлов XML (50-75 МБ без сжатия). Проблема, однако, в том, что эти XML-файлы хранятся удаленно, и их нужно будет загрузить, прежде чем я смогу их проанализировать.
Подумав об...
2592 просмотров
schedule
04.05.2024
интерфейс словаря для больших наборов данных
У меня есть набор ключей/значений (весь текст), который слишком велик для одновременной загрузки в память. Я хотел бы взаимодействовать с этими данными через интерфейс, похожий на словарь Python.
Такой модуль уже существует?
Чтение значений...
1334 просмотров
schedule
09.06.2022
Как открыть большой текстовый файл на C #
У меня есть текстовый файл, содержащий около 100000 статей. Структура файла:
.Document ID 42944-YEAR:5
.Date 03\08\11
.Cat political
Article Content 1
.Document ID 42945-YEAR:5
.Date 03\08\11
.Cat political
Article Content 2
Я хочу...
15664 просмотров
schedule
28.12.2022
большой объем данных во многих текстовых файлах - как обрабатывать?
У меня есть большие объемы данных (несколько терабайт) и накопление... Они содержатся во многих плоских текстовых файлах с разделителями табуляции (каждый около 30 МБ). Большая часть задачи включает в себя чтение данных и их агрегирование...
5135 просмотров
schedule
02.11.2022
Как показать отзыв при потоковой передаче больших файлов с помощью WCF
Я отправляю большие файлы через WCF и использую transferMode="Streamed", чтобы это работало, и все работает нормально.
Дело в том, что иногда эти файлы слишком велики, и я хочу дать клиенту какую-то обратную связь о прогрессе.
Есть ли у...
1069 просмотров
schedule
22.01.2023
Визуально различать очень большие файлы
У меня есть два файла XML, которые я хотел бы визуально различать. В них обоих примерно 145 000 строк. Уиндифф умирает от меня, когда я пытаюсь это сделать.
Есть ли какое-то другое приложение, которое может обрабатывать файлы такого размера?
4133 просмотров
schedule
31.12.2022
SqlBulkCopy.WriteToServer зависает Thread.Abort вызывается, но не уверен, почему
Дано:
Класс BenchMark , который дает мне знать, когда что-то завершено.
Очень большой файл XML (~ 120 МБ), который был разобран на несколько списков.
Некоторый код:
SqlConnection con = null;
SqlTransaction transaction = null;
try...
1910 просмотров
schedule
05.01.2023
Автоматизируйте команду, которую необходимо запустить с тысячами различных аргументов.
В моем проекте мне нужно загрузить большой файл (~ 250 ГБ) на удаленный сервер, а затем запустить скрипт для загрузки файла в mysql. Проблема в том, что если я загружу один файл, это займет слишком много времени. Поэтому мне приходится разбивать...
73 просмотров
schedule
20.07.2023
Нужно перенести БОЛЬШОЙ CSV-файл в Perl
Общий размер файла данных csv составляет 3,2 ГБ, и бог знает, сколько строк и столбцов (предположим, очень больших). Файл представляет собой данные геномики с данными SNP для популяции людей. Таким образом, файл csv содержит идентификаторы, такие...
1073 просмотров
schedule
22.07.2022
Мне нужно разделить большой XML-файл на несколько выходных xmls, используя XmlTextReader
Мне нужно взять XML-файл и создать несколько выходных XML-файлов из тысяч повторяющихся узлов входного файла. Исходный файл AnimalBatch.xml выглядит так:
<?xml version="1.0" encoding="utf-8" ?>
<Animals>
<Animal id="1001">...
4761 просмотров
schedule
19.04.2022
HTML5 - Canvas - Оптимизация для больших изображений
Мне нужно создать HTML5 canvas , который содержит очень большое изображение, возможно, до 10-15 МБ. Моей первой идеей было разбить изображение на несколько фрагментов, которые будут загружаться при горизонтальном перемещении по холсту.
Есть...
1290 просмотров
schedule
01.01.2024
Частичная сортировка кучи для поиска k наиболее часто встречающихся слов в файле размером 5 ГБ
Я знаю, какой алгоритм я хотел бы использовать, но хочу знать, что мне нужно изменить, так как файл такой большой.
Я хочу использовать хеш для хранения частот слов и использовать минимальную кучу для хранения наиболее часто встречающихся слов и...
958 просмотров
schedule
27.04.2023
