Наиболее эффективное преобразование ResultSet в JSON?

Следующий код преобразует ResultSet в строку JSON с помощью JSONArray и JSONObject.

import org.json.JSONArray;
import org.json.JSONObject;
import org.json.JSONException;

import java.sql.SQLException;
import java.sql.ResultSet;
import java.sql.ResultSetMetaData;

public class ResultSetConverter {
  public static JSONArray convert( ResultSet rs )
    throws SQLException, JSONException
  {
    JSONArray json = new JSONArray();
    ResultSetMetaData rsmd = rs.getMetaData();

    while(rs.next()) {
      int numColumns = rsmd.getColumnCount();
      JSONObject obj = new JSONObject();

      for (int i=1; i<numColumns+1; i++) {
        String column_name = rsmd.getColumnName(i);

        if(rsmd.getColumnType(i)==java.sql.Types.ARRAY){
         obj.put(column_name, rs.getArray(column_name));
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.BIGINT){
         obj.put(column_name, rs.getInt(column_name));
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.BOOLEAN){
         obj.put(column_name, rs.getBoolean(column_name));
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.BLOB){
         obj.put(column_name, rs.getBlob(column_name));
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.DOUBLE){
         obj.put(column_name, rs.getDouble(column_name)); 
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.FLOAT){
         obj.put(column_name, rs.getFloat(column_name));
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.INTEGER){
         obj.put(column_name, rs.getInt(column_name));
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.NVARCHAR){
         obj.put(column_name, rs.getNString(column_name));
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.VARCHAR){
         obj.put(column_name, rs.getString(column_name));
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.TINYINT){
         obj.put(column_name, rs.getInt(column_name));
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.SMALLINT){
         obj.put(column_name, rs.getInt(column_name));
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.DATE){
         obj.put(column_name, rs.getDate(column_name));
        }
        else if(rsmd.getColumnType(i)==java.sql.Types.TIMESTAMP){
        obj.put(column_name, rs.getTimestamp(column_name));   
        }
        else{
         obj.put(column_name, rs.getObject(column_name));
        }
      }

      json.put(obj);
    }

    return json;
  }
}
  • Есть ли более быстрый способ?
  • Есть ли способ использовать меньше памяти?

person Devin Dixon    schedule 29.06.2011    source источник
comment
Другая реализация code.google.com/p/bonex-homerunning/source/browse/trunk/   -  person Leif Gruenwoldt    schedule 21.10.2011
comment
реализация для java.sql.Types.ARRAY не сработала для меня с использованием postgresql (массив был помещен в виде строки с использованием {...}. Завершено изменение строки obj.put (column_name, rs.getArray (column_name)); на Массив array = rs.getArray (имя_столбца); if (array! = Null) obj.put (имя_столбца, новый JSONArray (array.getArray ()));   -  person molecular    schedule 29.04.2013
comment
Если производительность является серьезной проблемой, вам не следует использовать этот JSON API, а лучше использовать потоковую библиотеку, которая просто записывает JSON без необходимости создавать объекты памяти для всех данных (где вы можете оглядываться / находить материал в дереве). Тем не менее, я хотел бы убедиться, что у вас действительно есть проблема с производительностью, прежде чем делать это.   -  person Sebastiaan van den Broek    schedule 05.10.2013
comment
В вашем фрагменте есть ошибка. java.sql.Types.BIGINT имеет размер 8 байтов, поэтому его нужно читать с rs.getLong(), а не rs.getInt()   -  person polarfish    schedule 06.02.2015
comment
Спасибо за загрузку. Вы только что сэкономили мне часы работы.   -  person DRich    schedule 02.05.2017
comment
Я думаю, что все if else if излишни.   -  person Leon    schedule 22.04.2018


Ответы (13)


Компилятор JIT, вероятно, сделает это довольно быстро, поскольку это всего лишь ветки и базовые тесты. Возможно, вы могли бы сделать его более элегантным с помощью поиска HashMap для обратного вызова, но я сомневаюсь, что это будет быстрее. Что касается памяти, то она и так довольно тонкая.

Почему-то я сомневаюсь, что этот код на самом деле является критическим узким местом для памяти или производительности. У вас есть реальная причина попробовать его оптимизировать?

person Andrew White    schedule 29.06.2011
comment
Я помещаю исходный код в платформу с открытым исходным кодом, поэтому я не знаю, для чего он будет использоваться. Поэтому я стараюсь сделать его максимально эффективным. - person Devin Dixon; 29.06.2011
comment
@DevinDixon: доступен ли фреймворк? Есть ли что-нибудь похожее на код вашего вопроса, уже доступный где-нибудь в репозитории с открытым исходным кодом? - person ; 17.10.2013
comment
Приведите пример. - person Demodave; 03.09.2020

Я думаю, что есть способ использовать меньше памяти (фиксированный, а не линейный объем в зависимости от количества данных), но это означает изменение сигнатуры метода. Фактически, мы можем напечатать данные Json непосредственно в потоке вывода, как только мы получим их из ResultSet: уже записанные данные будут собраны в мусор, поскольку нам не нужен массив, который хранит их в памяти.

Я использую GSON, который принимает переходники типа. Я написал адаптер типа для преобразования ResultSet в JsonArray, и он очень похож на ваш код. Я жду релиза «Gson 2.1: Targeted 31 декабря 2011», в котором будет «Поддержка определяемых пользователем адаптеров потокового типа». Затем я изменю свой адаптер на потоковый.


Обновлять

Как и обещал, я вернулся, но не с Gson, а с Jackson 2. Извините за опоздание (на 2 года).

Предисловие: ключ к использованию меньшего объема памяти для результата находится в курсоре "на стороне сервера". С этим типом курсоров (он же набор результатов для разработчиков Java) СУБД отправляет данные клиенту (он же драйвер) постепенно по мере того, как клиент продвигает чтение. Я думаю, что курсор Oracle по умолчанию находится на стороне сервера. Для MySQL> 5.0.2 найдите useCursorFetch в параметр URL подключения. Проверьте свою любимую СУБД.

1: Итак, чтобы использовать меньше памяти, мы должны:

  • использовать курсор на стороне сервера за сценой
  • используйте набор результатов, открытый как только для чтения и конечно, только пересылка;
  • избегайте загрузки всего курсора в список (или JSONArray), но записывайте каждую строку непосредственно в строке вывода, где для строки вывода я имею в виду выходной поток или средство записи или также генератор json, который обертывает выходной поток или писатель.

2: Как говорится в документации Джексона:

Streaming API является наиболее эффективным (наименьшие накладные расходы, самое быстрое чтение / запись; на нем основаны два других метода)

3: Я вижу, что вы в своем коде используете getInt, getBoolean. getFloat ... ResultSet без wasNull. Я ожидаю, что это может вызвать проблемы.

4: Я использовал массивы для кеширования мыслей и избегания вызова геттеров на каждой итерации. Хотя я не являюсь поклонником конструкции switch / case, я использовал ее для этого int SQL Types.

Ответ: еще не полностью протестирован, он основан на Jackson 2.2:

<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-databind</artifactId>
    <version>2.2.2</version>
</dependency>

Объект ResultSetSerializer указывает Джексону, как сериализовать (преобразовать объект в JSON) ResultSet. Внутри он использует API-интерфейс Jackson Streaming. Вот код теста:

SimpleModule module = new SimpleModule();
module.addSerializer(new ResultSetSerializer());

ObjectMapper objectMapper = new ObjectMapper();
objectMapper.registerModule(module);

[ . . . do the query . . . ]
ResultSet resultset = statement.executeQuery(query);

// Use the DataBind Api here
ObjectNode objectNode = objectMapper.createObjectNode();

// put the resultset in a containing structure
objectNode.putPOJO("results", resultset);

// generate all
objectMapper.writeValue(stringWriter, objectNode);

И, конечно же, код класса ResultSetSerializer:

public class ResultSetSerializer extends JsonSerializer<ResultSet> {

    public static class ResultSetSerializerException extends JsonProcessingException{
        private static final long serialVersionUID = -914957626413580734L;

        public ResultSetSerializerException(Throwable cause){
            super(cause);
        }
    }

    @Override
    public Class<ResultSet> handledType() {
        return ResultSet.class;
    }

    @Override
    public void serialize(ResultSet rs, JsonGenerator jgen, SerializerProvider provider) throws IOException, JsonProcessingException {

        try {
            ResultSetMetaData rsmd = rs.getMetaData();
            int numColumns = rsmd.getColumnCount();
            String[] columnNames = new String[numColumns];
            int[] columnTypes = new int[numColumns];

            for (int i = 0; i < columnNames.length; i++) {
                columnNames[i] = rsmd.getColumnLabel(i + 1);
                columnTypes[i] = rsmd.getColumnType(i + 1);
            }

            jgen.writeStartArray();

            while (rs.next()) {

                boolean b;
                long l;
                double d;

                jgen.writeStartObject();

                for (int i = 0; i < columnNames.length; i++) {

                    jgen.writeFieldName(columnNames[i]);
                    switch (columnTypes[i]) {

                    case Types.INTEGER:
                        l = rs.getInt(i + 1);
                        if (rs.wasNull()) {
                            jgen.writeNull();
                        } else {
                            jgen.writeNumber(l);
                        }
                        break;

                    case Types.BIGINT:
                        l = rs.getLong(i + 1);
                        if (rs.wasNull()) {
                            jgen.writeNull();
                        } else {
                            jgen.writeNumber(l);
                        }
                        break;

                    case Types.DECIMAL:
                    case Types.NUMERIC:
                        jgen.writeNumber(rs.getBigDecimal(i + 1));
                        break;

                    case Types.FLOAT:
                    case Types.REAL:
                    case Types.DOUBLE:
                        d = rs.getDouble(i + 1);
                        if (rs.wasNull()) {
                            jgen.writeNull();
                        } else {
                            jgen.writeNumber(d);
                        }
                        break;

                    case Types.NVARCHAR:
                    case Types.VARCHAR:
                    case Types.LONGNVARCHAR:
                    case Types.LONGVARCHAR:
                        jgen.writeString(rs.getString(i + 1));
                        break;

                    case Types.BOOLEAN:
                    case Types.BIT:
                        b = rs.getBoolean(i + 1);
                        if (rs.wasNull()) {
                            jgen.writeNull();
                        } else {
                            jgen.writeBoolean(b);
                        }
                        break;

                    case Types.BINARY:
                    case Types.VARBINARY:
                    case Types.LONGVARBINARY:
                        jgen.writeBinary(rs.getBytes(i + 1));
                        break;

                    case Types.TINYINT:
                    case Types.SMALLINT:
                        l = rs.getShort(i + 1);
                        if (rs.wasNull()) {
                            jgen.writeNull();
                        } else {
                            jgen.writeNumber(l);
                        }
                        break;

                    case Types.DATE:
                        provider.defaultSerializeDateValue(rs.getDate(i + 1), jgen);
                        break;

                    case Types.TIMESTAMP:
                        provider.defaultSerializeDateValue(rs.getTime(i + 1), jgen);
                        break;

                    case Types.BLOB:
                        Blob blob = rs.getBlob(i);
                        provider.defaultSerializeValue(blob.getBinaryStream(), jgen);
                        blob.free();
                        break;

                    case Types.CLOB:
                        Clob clob = rs.getClob(i);
                        provider.defaultSerializeValue(clob.getCharacterStream(), jgen);
                        clob.free();
                        break;

                    case Types.ARRAY:
                        throw new RuntimeException("ResultSetSerializer not yet implemented for SQL type ARRAY");

                    case Types.STRUCT:
                        throw new RuntimeException("ResultSetSerializer not yet implemented for SQL type STRUCT");

                    case Types.DISTINCT:
                        throw new RuntimeException("ResultSetSerializer not yet implemented for SQL type DISTINCT");

                    case Types.REF:
                        throw new RuntimeException("ResultSetSerializer not yet implemented for SQL type REF");

                    case Types.JAVA_OBJECT:
                    default:
                        provider.defaultSerializeValue(rs.getObject(i + 1), jgen);
                        break;
                    }
                }

                jgen.writeEndObject();
            }

            jgen.writeEndArray();

        } catch (SQLException e) {
            throw new ResultSetSerializerException(e);
        }
    }
}
person Plap    schedule 14.11.2011
comment
Спасибо. Небольшое примечание: в Types.TIMESTAMP должно быть provider.defaultSerializeDateValue(rs.getTimestamp(i + 1), jgen); - person Felipe Rugai; 11.01.2021

Две вещи, которые сделают это быстрее:

Переместите ваш вызов на rsmd.getColumnCount() из цикла while. Количество столбцов не должно различаться в разных строках.

Для каждого типа столбца вы вызываете что-то вроде этого:

obj.put(column_name, rs.getInt(column_name));

Будет немного быстрее использовать индекс столбца для получения значения столбца:

obj.put(column_name, rs.getInt(i));
person oravecz    schedule 06.09.2011
comment
Также определите String column_name; вне цикла while. - person Charney Kaye; 15.01.2017

Более простое решение (основанное на рассматриваемом коде):

JSONArray json = new JSONArray();
ResultSetMetaData rsmd = rs.getMetaData();
while(rs.next()) {
  int numColumns = rsmd.getColumnCount();
  JSONObject obj = new JSONObject();
  for (int i=1; i<=numColumns; i++) {
    String column_name = rsmd.getColumnName(i);
    obj.put(column_name, rs.getObject(column_name));
  }
  json.put(obj);
}
return json;
person Elhanan Mishraky    schedule 03.01.2017
comment
хорошо, но есть ошибка с DATETIME и TIMESTAMP (не добавляет апострофы - person OhadR; 27.01.2017
comment
красиво и просто - person Anoop LL; 26.06.2017

Используйте стороннюю библиотеку для экспорта JSON

Вы можете использовать jOOQ для работы. Вам не обязательно использовать все возможности jOOQ, чтобы воспользоваться некоторыми полезными расширениями JDBC. В этом случае просто напишите:

String json = DSL.using(connection).fetch(resultSet).formatJSON();

Соответствующие используемые методы API:

  • DSLContext.fetch(ResultSet), чтобы преобразовать набор результатов JDBC в результат jOOQ.
  • Result.formatJSON() для форматирования результата jOOQ в строку JSON.

В результате форматирование будет выглядеть так:

{"fields":[{"name":"field-1","type":"type-1"},
           {"name":"field-2","type":"type-2"},
           ...,
           {"name":"field-n","type":"type-n"}],
 "records":[[value-1-1,value-1-2,...,value-1-n],
            [value-2-1,value-2-2,...,value-2-n]]}

Вы также можете довольно легко создать собственное форматирование с помощью _ 5_

По сути, это то же самое, что и ваш код, обходя создание объектов JSON, передавая их прямо в StringBuilder. Я бы сказал, что накладные расходы на производительность должны быть незначительными в обоих случаях.

(Отказ от ответственности: я работаю в компании, стоящей за jOOQ)

Вместо этого используйте функции SQL / JSON

Конечно, вам не нужно использовать промежуточное программное обеспечение для сопоставления наборов результатов JDBC с JSON. В вопросе не упоминается, для какого диалекта SQL это необходимо сделать, но многие поддерживают стандартный синтаксис SQL / JSON или что-то подобное, например.

Oracle

SELECT json_arrayagg(json_object(*))
FROM t

SQL Server

SELECT *
FROM t
FOR JSON AUTO

PostgreSQL

SELECT to_jsonb(array_agg(t))
FROM t
person Lukas Eder    schedule 05.10.2013
comment
Это круто, но у меня проблемы с анализом полученной строки. Когда некоторые значения содержат кавычки, синтаксический анализатор не может правильно работать: я думаю, что кавычки внутри значений должны быть экранированы (от " до \"), чтобы создать допустимую строку JSON. Это ошибка функции formatJSON()? Или я что-то упускаю? - person Oneiros; 21.01.2015
comment
@Oneiros: jOOQ должен правильно избегать этих кавычек ... Лучше всего задать новый вопрос (с подробностями) или сообщить об ошибке: github.com/jOOQ/jOOQ/issues/new - person Lukas Eder; 21.01.2015
comment
В вашем примере, что такое resultSet используется в fetch(resultSet)? Это нигде не определено. И если я получу JDBC ResultSet перед загрузкой, какова цель DSL.using(connection)? Зачем нужно подключение? :) - person Nikola Lošić; 11.07.2016
comment
@ NikolaLošić: Вопрос касается использования JDBC ResultSet, поэтому я думаю, что насчет ResultSet нет никаких сомнений. Действительно, не кажется очевидным, зачем здесь нужен connection. Если вы используете jOOQ, вам все равно будет доступно DSLContext (результат DSL.using(connection) или подобное). - person Lukas Eder; 12.07.2016
comment
какую правильную библиотеку JOOQ включить? Я пробую много, но каждый дает мне ошибку «Класс не найден» со ссылкой на DSL. Спасибо - person Lorenzo Barbagli; 13.01.2017
comment
@LorenzoBarbagli: Не могли бы вы задать новый вопрос с некоторыми подробностями? Есть много вещей (возможно, не связанных с jOOQ), которые могут пойти не так ... - person Lukas Eder; 13.01.2017

В дополнение к предложениям @Jim Cook. Еще одна мысль - использовать переключатель вместо if-elses:

while(rs.next()) {
  int numColumns = rsmd.getColumnCount();
  JSONObject obj = new JSONObject();

  for( int i=1; i<numColumns+1; i++) {
    String column_name = rsmd.getColumnName(i);

    switch( rsmd.getColumnType( i ) ) {
      case java.sql.Types.ARRAY:
        obj.put(column_name, rs.getArray(column_name));     break;
      case java.sql.Types.BIGINT:
        obj.put(column_name, rs.getInt(column_name));       break;
      case java.sql.Types.BOOLEAN:
        obj.put(column_name, rs.getBoolean(column_name));   break;
      case java.sql.Types.BLOB:
        obj.put(column_name, rs.getBlob(column_name));      break;
      case java.sql.Types.DOUBLE:
        obj.put(column_name, rs.getDouble(column_name));    break;
      case java.sql.Types.FLOAT:
        obj.put(column_name, rs.getFloat(column_name));     break;
      case java.sql.Types.INTEGER:
        obj.put(column_name, rs.getInt(column_name));       break;
      case java.sql.Types.NVARCHAR:
        obj.put(column_name, rs.getNString(column_name));   break;
      case java.sql.Types.VARCHAR:
        obj.put(column_name, rs.getString(column_name));    break;
      case java.sql.Types.TINYINT:
        obj.put(column_name, rs.getInt(column_name));       break;
      case java.sql.Types.SMALLINT:
        obj.put(column_name, rs.getInt(column_name));       break;
      case java.sql.Types.DATE:
        obj.put(column_name, rs.getDate(column_name));      break;
      case java.sql.Types.TIMESTAMP:
        obj.put(column_name, rs.getTimestamp(column_name)); break;
      default:
        obj.put(column_name, rs.getObject(column_name));    break;
    }
  }

  json.put(obj);
}
person egerardus    schedule 17.01.2012
comment
Обратный цикл (сравнение нулевого индекса) также выполняется быстрее (чем сравнение индекса с выражением). - person Dave Jarvis; 01.08.2012

Этот ответ, возможно, не самый эффективный, но он наверняка динамичный. Соединив собственный JDBC с библиотекой Google Gson, я легко могу преобразовать результат SQL в поток JSON.

Я включил конвертер, пример файла свойств БД, создание таблицы SQL и файл сборки Gradle (с используемыми зависимостями).

QueryApp.java

import java.io.PrintWriter;

import com.oracle.jdbc.ResultSetConverter;

public class QueryApp {
    public static void main(String[] args) {
        PrintWriter writer = new PrintWriter(System.out);
        String dbProps = "/database.properties";
        String indent = "    ";

        writer.println("Basic SELECT:");
        ResultSetConverter.queryToJson(writer, dbProps, "SELECT * FROM Beatles", indent, false);

        writer.println("\n\nIntermediate SELECT:");
        ResultSetConverter.queryToJson(writer, dbProps, "SELECT first_name, last_name, getAge(date_of_birth) as age FROM Beatles", indent, true);
    }
}

ResultSetConverter.java

package com.oracle.jdbc;

import java.io.*;
import java.lang.reflect.Type;
import java.sql.*;
import java.util.*;

import com.google.common.reflect.TypeToken;
import com.google.gson.GsonBuilder;
import com.google.gson.stream.JsonWriter;

public class ResultSetConverter {
    public static final Type RESULT_TYPE = new TypeToken<List<Map<String, Object>>>() {
        private static final long serialVersionUID = -3467016635635320150L;
    }.getType();

    public static void queryToJson(Writer writer, String connectionProperties, String query, String indent, boolean closeWriter) {
        Connection conn = null;
        Statement stmt = null;
        GsonBuilder gson = new GsonBuilder();
        JsonWriter jsonWriter = new JsonWriter(writer);

        if (indent != null) jsonWriter.setIndent(indent);

        try {
            Properties props = readConnectionInfo(connectionProperties);
            Class.forName(props.getProperty("driver"));

            conn = openConnection(props);
            stmt = conn.createStatement();

            gson.create().toJson(QueryHelper.select(stmt, query), RESULT_TYPE, jsonWriter);

            if (closeWriter) jsonWriter.close();

            stmt.close();
            conn.close();
        } catch (SQLException se) {
            se.printStackTrace();
        } catch (Exception e) {
            e.printStackTrace();
            try {
                if (stmt != null) stmt.close();
            } catch (SQLException se2) {
            }
            try {
                if (conn != null) conn.close();
            } catch (SQLException se) {
                se.printStackTrace();
            }
            try {
                if (closeWriter && jsonWriter != null) jsonWriter.close();
            } catch (IOException ioe) {
                ioe.printStackTrace();
            }
        }
    }

    private static Properties readConnectionInfo(String resource) throws IOException {
        Properties properties = new Properties();
        InputStream in = ResultSetConverter.class.getResourceAsStream(resource);
        properties.load(in);
        in.close();

        return properties;
    }

    private static Connection openConnection(Properties connectionProperties) throws IOException, SQLException {
        String database = connectionProperties.getProperty("database");
        String username = connectionProperties.getProperty("username");
        String password = connectionProperties.getProperty("password");

        return DriverManager.getConnection(database, username, password);
    }
}

QueryHelper.java

package com.oracle.jdbc;

import java.sql.*;
import java.text.*;
import java.util.*;

import com.google.common.base.CaseFormat;

public class QueryHelper {
    static DateFormat DATE_FORMAT = new SimpleDateFormat("YYYY-MM-dd");

    public static List<Map<String, Object>> select(Statement stmt, String query) throws SQLException {
        ResultSet resultSet = stmt.executeQuery(query);
        List<Map<String, Object>> records = mapRecords(resultSet);

        resultSet.close();

        return records;
    }

    public static List<Map<String, Object>> mapRecords(ResultSet resultSet) throws SQLException {
        List<Map<String, Object>> records = new ArrayList<Map<String, Object>>();
        ResultSetMetaData metaData = resultSet.getMetaData();

        while (resultSet.next()) {
            records.add(mapRecord(resultSet, metaData));
        }

        return records;
    }

    public static Map<String, Object> mapRecord(ResultSet resultSet, ResultSetMetaData metaData) throws SQLException {
        Map<String, Object> record = new HashMap<String, Object>();

        for (int c = 1; c <= metaData.getColumnCount(); c++) {
            String columnType = metaData.getColumnTypeName(c);
            String columnName = formatPropertyName(metaData.getColumnName(c));
            Object value = resultSet.getObject(c);

            if (columnType.equals("DATE")) {
                value = DATE_FORMAT.format(value);
            }

            record.put(columnName, value);
        }

        return record;
    }

    private static String formatPropertyName(String property) {
        return CaseFormat.LOWER_UNDERSCORE.to(CaseFormat.LOWER_CAMEL, property);
    }
}

database.properties

driver=com.mysql.jdbc.Driver
database=jdbc:mysql://localhost/JDBC_Tutorial
username=root
password=

JDBC_Tutorial.sql

-- phpMyAdmin SQL Dump
-- version 4.5.1
-- http://www.phpmyadmin.net
--
-- Host: 127.0.0.1
-- Generation Time: Jan 12, 2016 at 07:40 PM
-- Server version: 10.1.8-MariaDB
-- PHP Version: 5.6.14

SET SQL_MODE = "NO_AUTO_VALUE_ON_ZERO";
SET time_zone = "+00:00";


/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8mb4 */;

--
-- Database: `jdbc_tutorial`
--
CREATE DATABASE IF NOT EXISTS `jdbc_tutorial` DEFAULT CHARACTER SET latin1 COLLATE latin1_swedish_ci;
USE `jdbc_tutorial`;

DELIMITER $$
--
-- Functions
--
DROP FUNCTION IF EXISTS `getAge`$$
CREATE DEFINER=`root`@`localhost` FUNCTION `getAge` (`in_dob` DATE) RETURNS INT(11) NO SQL
BEGIN
DECLARE l_age INT;
   IF DATE_FORMAT(NOW(),'00-%m-%d') >= DATE_FORMAT(in_dob,'00-%m-%d') THEN
      -- This person has had a birthday this year
      SET l_age=DATE_FORMAT(NOW(),'%Y')-DATE_FORMAT(in_dob,'%Y');
   ELSE
      -- Yet to have a birthday this year
      SET l_age=DATE_FORMAT(NOW(),'%Y')-DATE_FORMAT(in_dob,'%Y')-1;
   END IF;
      RETURN(l_age);
END$$

DELIMITER ;

-- --------------------------------------------------------

--
-- Table structure for table `beatles`
--

DROP TABLE IF EXISTS `beatles`;
CREATE TABLE IF NOT EXISTS `beatles` (
  `id` int(11) NOT NULL,
  `first_name` varchar(255) DEFAULT NULL,
  `last_name` varchar(255) DEFAULT NULL,
  `date_of_birth` date DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

--
-- Truncate table before insert `beatles`
--

TRUNCATE TABLE `beatles`;
--
-- Dumping data for table `beatles`
--

INSERT INTO `beatles` (`id`, `first_name`, `last_name`, `date_of_birth`) VALUES(100, 'John', 'Lennon', '1940-10-09');
INSERT INTO `beatles` (`id`, `first_name`, `last_name`, `date_of_birth`) VALUES(101, 'Paul', 'McCartney', '1942-06-18');
INSERT INTO `beatles` (`id`, `first_name`, `last_name`, `date_of_birth`) VALUES(102, 'George', 'Harrison', '1943-02-25');
INSERT INTO `beatles` (`id`, `first_name`, `last_name`, `date_of_birth`) VALUES(103, 'Ringo', 'Starr', '1940-07-07');

/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;

build.gradle

apply plugin: 'java'
apply plugin: 'eclipse'
apply plugin: 'application'

mainClassName = 'com.oracle.jdbc.QueryApp'

repositories {
    maven  {
        url "http://repo1.maven.org/maven2"
    }
}

jar {
    baseName = 'jdbc-tutorial'
    version =  '1.0.0'
}

sourceCompatibility = 1.7
targetCompatibility = 1.7

dependencies {
    compile 'mysql:mysql-connector-java:5.1.16'
    compile 'com.google.guava:guava:18.0'
    compile 'com.google.code.gson:gson:1.7.2'
}

task wrapper(type: Wrapper) {
    gradleVersion = '2.9'
}

Полученные результаты

Базовый ВЫБОР

[
    {
        "firstName": "John",
        "lastName": "Lennon",
        "dateOfBirth": "1940-10-09",
        "id": 100
    },
    {
        "firstName": "Paul",
        "lastName": "McCartney",
        "dateOfBirth": "1942-06-18",
        "id": 101
    },
    {
        "firstName": "George",
        "lastName": "Harrison",
        "dateOfBirth": "1943-02-25",
        "id": 102
    },
    {
        "firstName": "Ringo",
        "lastName": "Starr",
        "dateOfBirth": "1940-07-07",
        "id": 103
    }
]

Промежуточный ВЫБОР

[
    {
        "firstName": "John",
        "lastName": "Lennon",
        "age": 75
    },
    {
        "firstName": "Paul",
        "lastName": "McCartney",
        "age": 73
    },
    {
        "firstName": "George",
        "lastName": "Harrison",
        "age": 72
    },
    {
        "firstName": "Ringo",
        "lastName": "Starr",
        "age": 75
    }
]
person Mr. Polywhirl    schedule 13.01.2016

Сначала предварительно сгенерируйте имена столбцов, затем используйте rs.getString(i) вместо rs.getString(column_name).

Ниже приводится реализация этого:

    /*
     * Convert ResultSet to a common JSON Object array
     * Result is like: [{"ID":"1","NAME":"Tom","AGE":"24"}, {"ID":"2","NAME":"Bob","AGE":"26"}, ...]
     */
    public static List<JSONObject> getFormattedResult(ResultSet rs) {
        List<JSONObject> resList = new ArrayList<JSONObject>();
        try {
            // get column names
            ResultSetMetaData rsMeta = rs.getMetaData();
            int columnCnt = rsMeta.getColumnCount();
            List<String> columnNames = new ArrayList<String>();
            for(int i=1;i<=columnCnt;i++) {
                columnNames.add(rsMeta.getColumnName(i).toUpperCase());
            }

            while(rs.next()) { // convert each object to an human readable JSON object
                JSONObject obj = new JSONObject();
                for(int i=1;i<=columnCnt;i++) {
                    String key = columnNames.get(i - 1);
                    String value = rs.getString(i);
                    obj.put(key, value);
                }
                resList.add(obj);
            }
        } catch(Exception e) {
            e.printStackTrace();
        } finally {
            try {
                rs.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
        return resList;
    }
person coderz    schedule 27.05.2015
comment
как мне получить доступ к объекту и использовать его .... скажем, я хочу напечатать весь столбец Name ... и легко ли объект доступен для операций CRUD ?? - person Prathamesh dhanawade; 29.03.2016
comment
@Prathameshdhanawade Этот метод предназначен для преобразования JDBC ResultSet в массив JSON. Разработчики обычно не используют необработанный JDBC ResultSet, они обычно конвертируют его в список объектов Java, то есть объект JSON. Вы видите, что возвращаемое значение - это массив объектов JSON. Вы легко получаете доступ к одному объекту через JSONObject json = resList.get(i);. Затем вы можете свободно манипулировать объектом JSON json. - person coderz; 29.03.2016
comment
На самом деле мне понадобится объект, чтобы подготовить графическое представление. Так что мне было просто любопытно, что я могу манипулировать объектом. Спасибо. - person Prathamesh dhanawade; 29.03.2016
comment
Не могли бы вы описать графический вид? Или привел пример? - person coderz; 29.03.2016
comment
Я пытаюсь отобразить значение столбца как: JSONObject obj = jsonList.get (1); System.out.println (obj.getString (имя) + \ t + obj.getString (компания)); но появляется ошибка org.json.JSONException: JSONObject [name] не найден. - person Prathamesh dhanawade; 29.03.2016
comment
@Prathameshdhanawade Это означает, что имя ключа не существует. Я предлагаю вам System.out.println(obj); (или использовать режим отладки), чтобы увидеть, какие ключи есть у объекта JSON. - person coderz; 29.03.2016
comment
Я сделал. Выяснилось, что Nd - проблема с корпусом. Теперь я в порядке и могу манипулировать объектом по своему желанию. - person Prathamesh dhanawade; 30.03.2016
comment
@Prathameshdhanawade Рад это слышать :) - person coderz; 31.03.2016

Если кто-то планирует использовать эту реализацию, вы можете захотеть проверьте это и это

Это моя версия этого кода преобразования:

public class ResultSetConverter {
public static JSONArray convert(ResultSet rs) throws SQLException,
        JSONException {
    JSONArray json = new JSONArray();
    ResultSetMetaData rsmd = rs.getMetaData();
    int numColumns = rsmd.getColumnCount();
    while (rs.next()) {

        JSONObject obj = new JSONObject();

        for (int i = 1; i < numColumns + 1; i++) {
            String column_name = rsmd.getColumnName(i);

            if (rsmd.getColumnType(i) == java.sql.Types.ARRAY) {
                obj.put(column_name, rs.getArray(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.BIGINT) {
                obj.put(column_name, rs.getLong(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.REAL) {
                obj.put(column_name, rs.getFloat(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.BOOLEAN) {
                obj.put(column_name, rs.getBoolean(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.BLOB) {
                obj.put(column_name, rs.getBlob(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.DOUBLE) {
                obj.put(column_name, rs.getDouble(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.FLOAT) {
                obj.put(column_name, rs.getDouble(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.INTEGER) {
                obj.put(column_name, rs.getInt(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.NVARCHAR) {
                obj.put(column_name, rs.getNString(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.VARCHAR) {
                obj.put(column_name, rs.getString(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.CHAR) {
                obj.put(column_name, rs.getString(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.NCHAR) {
                obj.put(column_name, rs.getNString(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.LONGNVARCHAR) {
                obj.put(column_name, rs.getNString(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.LONGVARCHAR) {
                obj.put(column_name, rs.getString(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.TINYINT) {
                obj.put(column_name, rs.getByte(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.SMALLINT) {
                obj.put(column_name, rs.getShort(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.DATE) {
                obj.put(column_name, rs.getDate(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.TIME) {
                obj.put(column_name, rs.getTime(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.TIMESTAMP) {
                obj.put(column_name, rs.getTimestamp(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.BINARY) {
                obj.put(column_name, rs.getBytes(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.VARBINARY) {
                obj.put(column_name, rs.getBytes(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.LONGVARBINARY) {
                obj.put(column_name, rs.getBinaryStream(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.BIT) {
                obj.put(column_name, rs.getBoolean(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.CLOB) {
                obj.put(column_name, rs.getClob(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.NUMERIC) {
                obj.put(column_name, rs.getBigDecimal(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.DECIMAL) {
                obj.put(column_name, rs.getBigDecimal(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.DATALINK) {
                obj.put(column_name, rs.getURL(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.REF) {
                obj.put(column_name, rs.getRef(column_name));
            } else if (rsmd.getColumnType(i) == java.sql.Types.STRUCT) {
                obj.put(column_name, rs.getObject(column_name)); // must be a custom mapping consists of a class that implements the interface SQLData and an entry in a java.util.Map object.
            } else if (rsmd.getColumnType(i) == java.sql.Types.DISTINCT) {
                obj.put(column_name, rs.getObject(column_name)); // must be a custom mapping consists of a class that implements the interface SQLData and an entry in a java.util.Map object.
            } else if (rsmd.getColumnType(i) == java.sql.Types.JAVA_OBJECT) {
                obj.put(column_name, rs.getObject(column_name));
            } else {
                obj.put(column_name, rs.getString(i));
            }
        }

        json.put(obj);
    }

    return json;
}
}
person Li3ro    schedule 19.11.2012

Как и прежде, цикл if / then более эффективен, чем переключатель для перечислений. Если у вас есть переключатель против необработанного целого числа enum, тогда он более эффективен, но против переменной if / then более эффективен, по крайней мере, для Java 5, 6 и 7.

То есть по какой-то причине (после некоторых тестов производительности)

if (ordinalValue == 1) {
   ...
} else (ordinalValue == 2 {
   ... 
}

быстрее чем

switch( myEnum.ordinal() ) {
    case 1:
       ...
       break;
    case 2:
       ...
       break;
}

Я вижу, что некоторые люди во мне сомневаются, поэтому я опубликую здесь код, который вы можете запустить, чтобы увидеть разницу, вместе с выводом, который у меня есть из Java 7. Результаты следующего кода с 10 значениями перечисления следующие. Обратите внимание, что ключ здесь - это if / then с использованием целочисленного значения, сравнивающего с порядковыми константами перечисления, по сравнению с переключателем с порядковым значением перечисления против необработанных порядковых значений int, по сравнению с переключателем с перечислением для каждого имени перечисления. If / then с целочисленным значением превзошли оба других переключателя, хотя последний переключатель был немного быстрее, чем первый переключатель, он не был быстрее, чем if / else.

If / else заняло 23 мс
Switch заняло 45 мс
Switch 2 заняло 30 мс
Всего совпадений: 3000000

package testing;

import java.util.Random;

enum TestEnum {
    FIRST,
    SECOND,
    THIRD,
    FOURTH,
    FIFTH,
    SIXTH,
    SEVENTH,
    EIGHTH,
    NINTH,
    TENTH
}

public class SwitchTest {
    private static int LOOP = 1000000;
    private static Random r = new Random();
    private static int SIZE = TestEnum.values().length;

    public static void main(String[] args) {
        long time = System.currentTimeMillis();
        int matches = 0;
        for (int i = 0; i < LOOP; i++) {
            int j = r.nextInt(SIZE);
            if (j == TestEnum.FIRST.ordinal()) {
                matches++;
            } else if (j == TestEnum.SECOND.ordinal()) {
                matches++;
            } else if (j == TestEnum.THIRD.ordinal()) {
                matches++;
            } else if (j == TestEnum.FOURTH.ordinal()) {
                matches++;
            } else if (j == TestEnum.FIFTH.ordinal()) {
                matches++;
            } else if (j == TestEnum.SIXTH.ordinal()) {
                matches++;
            } else if (j == TestEnum.SEVENTH.ordinal()) {
                matches++;
            } else if (j == TestEnum.EIGHTH.ordinal()) {
                matches++;
            } else if (j == TestEnum.NINTH.ordinal()) {
                matches++;
            } else {
                matches++;
            }
        }
        System.out.println("If / else took "+(System.currentTimeMillis() - time)+" ms");
        time = System.currentTimeMillis();
        for (int i = 0; i < LOOP; i++) {
            TestEnum te = TestEnum.values()[r.nextInt(SIZE)];
            switch (te.ordinal()) {
                case 0:
                    matches++;
                    break;
                case 1:
                    matches++;
                    break;
                case 2:
                    matches++;
                    break;
                case 3:
                    matches++;
                    break;
                case 4:
                    matches++;
                    break;
                case 5:
                    matches++;
                    break;
                case 6:
                    matches++;
                    break;
                case 7:
                    matches++;
                    break;
                case 8:
                    matches++;
                    break;
                case 9:
                    matches++;
                    break;
                default:
                    matches++;
                    break;
            }
        }
        System.out.println("Switch took "+(System.currentTimeMillis() - time)+" ms");
        time = System.currentTimeMillis();
        for (int i = 0; i < LOOP; i++) {
            TestEnum te = TestEnum.values()[r.nextInt(SIZE)];
            switch (te) {
                case FIRST:
                    matches++;
                    break;
                case SECOND:
                    matches++;
                    break;
                case THIRD:
                    matches++;
                    break;
                case FOURTH:
                    matches++;
                    break;
                case FIFTH:
                    matches++;
                    break;
                case SIXTH:
                    matches++;
                    break;
                case SEVENTH:
                    matches++;
                    break;
                case EIGHTH:
                    matches++;
                    break;
                case NINTH:
                    matches++;
                    break;
                default:
                    matches++;
                    break;
            }
        }
        System.out.println("Switch 2 took "+(System.currentTimeMillis() - time)+" ms");     
        System.out.println("Total matches: "+matches);
    }
}
person Marcus    schedule 01.10.2012
comment
Ну, хорошо, но ... практическая правда в том, что разница между этими альтернативами кодирования для любого реального случая использования настолько мала, что в реальном приложении разница в производительности между ними, скорее всего, будет неизмеримо малой. Сначала сделайте свой код правильным, а затем (только потом) сделайте его быстрым (если нужно, чтобы он был быстрее). - person scottb; 14.01.2016
comment
Согласен, но главный вопрос касался самого быстрого и эффективного способа. Есть много стилей, которые затрудняют чтение или поддержку кода, но они более эффективны, хотя обычно они решаются оптимизацией компилятора в какой-то момент в будущем. Одним из примеров этого является использование intern() для строк, которые больше не нужны в большинстве современных версий Java. - person Marcus; 15.01.2016
comment
Согласовано, но блоки if-then-else и switch-case сами по себе являются плохим решением проблем ремонтопригодности, надежности и удобочитаемости в любом случае. Для перечислений, которыми вы владеете (или чей код вы можете изменить), очень часто рекомендуется использовать методы, зависящие от константы, в расширенном типе перечисления. В большинстве случаев включение перечисления следует рассматривать с осторожностью, потому что есть лучшие решения там. - person scottb; 15.01.2016

Для всех, кто выбрал сетку if-else, используйте:

String columnName = metadata.getColumnName(
String displayName = metadata.getColumnLabel(i);
switch (metadata.getColumnType(i)) {
case Types.ARRAY:
    obj.put(displayName, resultSet.getArray(columnName));
    break;
...

Потому что в случае псевдонимов в вашем запросе имя столбца и метка столбца - это две разные вещи. Например, если вы выполните:

select col1, col2 as my_alias from table

Ты получишь

[
    { "col1": 1, "col2": 2 }, 
    { "col1": 1, "col2": 2 }
]

Скорее, чем:

[
    { "col1": 1, "my_alias": 2 }, 
    { "col1": 1, "my_alias": 2 }
]
person seekme_94    schedule 18.12.2019

с другой стороны, здесь я использовал ArrayList и Map, поэтому он не вызывает объект json строка за строкой, а после завершения итерации набора результатов:

 List<Map<String, String>> list = new ArrayList<Map<String, String>>();

  ResultSetMetaData rsMetaData = rs.getMetaData();  


      while(rs.next()){

              Map map = new HashMap();
              for (int i = 1; i <= rsMetaData.getColumnCount(); i++) {
                 String key = rsMetaData.getColumnName(i);

                  String value = null;

               if (rsmd.getColumnType(i) == java.sql.Types.VARCHAR) {
                           value = rs.getString(key);
               } else if(rsmd.getColumnType(i)==java.sql.Types.BIGINT)                         
                             value = rs.getLong(key);
               }                  


                    map.put(key, value);
              }
              list.add(map);


    }


     json.put(list);    
person reil bhudaya    schedule 29.09.2014

person    schedule
comment
Пожалуйста, добавьте пояснение к своему ответу. - person Sahil Mittal; 11.07.2017