как передать большие наборы результатов из SQL-запроса непосредственно в CSV в LINQpad?

Мы используем Linqpad для наших распорядителей данных в качестве инструмента отчетности, альтернативного SSMS. Большинство наших распорядителей по-прежнему используют SQL (некоторых из них мы постепенно переводим на LINQ, но поэтапно). Однако мы столкнулись с ограничением в LINQPad, с которым я не знаю, как справиться. Для больших наборов результатов, поскольку LINQPad сначала загружает запрос в память, прежде чем выводить его на экран, мы исчерпаем память для больших наборов результатов. Есть ли способ отправить запрос SQL в LINQPad непосредственно в CSV?


linqpad
person Elsimer    schedule 07.01.2013    source источник

Ответы (1)


arrow_upward
2
arrow_downward

В LINQPad нет для этого встроенного метода (надо его добавить), но его достаточно легко написать. Поместите следующее в «Мои расширения»:

public static class MyExtensions
{
    public static void WriteCsv<T> (this IEnumerable<T> elements, string filePath)
    {
        var fields = typeof (T).GetFields();

        var props = typeof (T).GetProperties()
            .Where (p => IsSimpleType (p.PropertyType))
            .ToArray();

        using (var writer = new StreamWriter (filePath))
        {
            string header = string.Join (",", 
                fields.Select (f => f.Name).Concat (props.Select (p => p.Name)))

            // Work around bug in Excel
            if (header.StartsWith ("ID")) header = " " + header;

            writer.WriteLine (header);
            foreach (var element in elements)
            {
                var values =
                    fields.Select (f => Format (f.GetValue (element))).Concat (
                    props.Select (p => Format (p.GetValue (element, null))));

                writer.WriteLine (string.Join (",", values));
            }
        }
    }

    static string Format (object value)
    {
        if (value == null) return "";

        // With DateTimes, it's safest to force a culture insensitive format:
        if (value is DateTime) return ((DateTime)value).ToString ("s");
        if (value is DateTimeOffset) return ((DateTimeOffset)value).ToString ("s");

        string result = value.ToString();
        result = result.Replace ("\"", "\"\"");
        if (result.Contains (",") || result.Contains ("\"") || result.Any (c => c < 0x20))
            result = "\"" + result + "\"";

        return result;
    }

    public static bool IsSimpleType (Type t)
    {
        if (t.IsGenericType && t.GetGenericTypeDefinition () == typeof (Nullable<>))
            t = t.GetGenericArguments() [0];

        return t.IsPrimitive || Type.GetTypeCode (t) != TypeCode.Object ||
               typeof (IFormattable).IsAssignableFrom (t);
    }
}

Обратите внимание, что это форматирует значения с использованием текущей культуры (за исключением дат). Если вы хотите использовать инвариантную культуру, это достаточно легко изменить.

Перед его вызовом вы должны отключить отслеживание объектов, чтобы избежать кэширования объектов в памяти, установив ObjectTrackingEnabled в false:

ObjectTrackingEnabled = false;
Customers.WriteCsv (@"c:\\temp\\customers.csv");
person Joe Albahari    schedule 08.01.2013
comment
Это не выводит свойства, допускающие значение NULL (поскольку typeof (IFormattable).IsAssignableFrom (p.PropertyType)) возвращает false ) - person sgmoore; 09.01.2013
comment
похоже, что Util.WriteCSV бета-сборки - это еще один способ (я предполагаю, что вы встроили его в результате этого и подобных сообщений), хотя в любом случае он не работает на вкладке SQL. Собираюсь отметить это как ответ, хотя мне придется немного поработать и потренироваться, чтобы заставить его работать в моей ситуации. - person Elsimer; 11.01.2013