У меня есть таблица с полем varchar(255). Я хочу получить (с помощью запроса, функции или SP) количество вхождений каждого слова в группе строк из этой таблицы.
Если есть 2 строки с этими полями:
"I like to eat bananas" "I don't like to eat like a monkey"
я хочу получить
word | count()
---------------
like 3
eat 2
to 2
i 2
a 1
Есть идеи? Я использую MySQL 5.2.
@Элад Мейдар, мне понравился твой вопрос, и я нашел решение:
SELECT SUM(total_count) as total, value
FROM (
SELECT count(*) AS total_count, REPLACE(REPLACE(REPLACE(x.value,'?',''),'.',''),'!','') as value
FROM (
SELECT SUBSTRING_INDEX(SUBSTRING_INDEX(t.sentence, ' ', n.n), ' ', -1) value
FROM table_name t CROSS JOIN
(
SELECT a.N + b.N * 10 + 1 n
FROM
(SELECT 0 AS N UNION ALL SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9) a
,(SELECT 0 AS N UNION ALL SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9) b
ORDER BY n
) n
WHERE n.n <= 1 + (LENGTH(t.sentence) - LENGTH(REPLACE(t.sentence, ' ', '')))
ORDER BY value
) AS x
GROUP BY x.value
) AS y
GROUP BY value
Вот полная рабочая скрипка: http://sqlfiddle.com/#!2/17481a/1
Сначала мы делаем запрос для извлечения всех слов, как описано здесь @peterm (следуйте его инструкциям, если вы хотите настроить общее количество обработанных слов). Затем мы преобразуем это в подзапрос, а затем COUNT и GROUP BY значение каждого слова, а затем делаем еще один запрос поверх этого для GROUP BY случаев несгруппированных слов, где могут присутствовать сопровождающие знаки. то есть: привет = привет! с REPLACE
Я бы рекомендовал вообще не делать этого в SQL. Вы загружаете БД чем-то, в чем она не лучшая. Выбор группы строк и вычисление частоты на стороне приложения будет проще реализовать, будет работать быстрее и будет поддерживаться с меньшим количеством проблем/головных болей.
Я думаю, вы должны сделать это как индексацию, с дополнительной таблицей. Всякий раз, когда вы создаете, обновляете или удаляете строку в своей исходной таблице, вы должны обновить свою таблицу индексации. Эта таблица индексации должна иметь столбцы: слово и количество вхождений.
Вы можете попробовать этот немного извращенный способ:
SELECT
(LENGTH(field) - LENGTH(REPLACE(field, 'word', ''))) / LENGTH('word') AS `count`
ORDER BY `count` DESC
Этот запрос может быть очень медленным. Кроме того, это выглядит довольно некрасиво.
Я думаю, что вы слишком много пытаетесь сделать с SQL, если все слова находятся в одном поле каждой строки. Я рекомендую выполнять любую обработку/подсчет текста в вашем приложении после того, как вы захватите текстовые поля из базы данных.
