Отличный способ сократить ручное суммирование текста с помощью автоматического суммирования текста!
Так что же такое автоматическое резюмирование текста? Что оно делает? Обобщает текст автоматически? Кем? Компьютеры? Как машины вообще это делают? Звучит сложно, правда? Но не беспокойтесь 😃 В конце этого блога вы даже узнаете, как это реализовать !! Звучит круто, не так ли?
Итак, начнем с Резюмирования текста! Обобщение текста - это процесс фильтрации наиболее важной информации из источника для уменьшения длины текстового документа. А Автоматическое резюмирование текста - это процесс создания резюме документа без какого-либо вмешательства человека.
Мы, люди, можем легко выполнить такую задачу, поскольку у нас есть способность понимать значение текстового документа, извлекать особенности и резюмировать их. Например, если я дам вам 100 строк предложений с темой, и я прошу вас резюмировать это или получить 10 лучших предложений, связанных с темой, это легко, не так ли? Но что, если я дам вам миллионы документов и попрошу вас сделать то же самое? Как долго это займет? И насколько хорошо это будет? сколько рабочей силы потребуется? а это значит, что это будет дороже.
В современном мире данных слишком много, но не хватает специалистов для их интерпретации. Для чего удобно использовать автоматическое суммирование текста:
1. Сокращает время чтения.
2. Сокращает время поиска при изучении документов, поскольку вы можете выбирать, читая резюме, а не всю статью.
3. Сокращает время поиска руководителей бизнеса, а также аналитиков, поскольку большая часть их времени тратится только на выяснение того, какой документ актуален, а какой нет.
4. Резюме также помогают определить, стоит ли читать статью.
5. Это также помогает студентам и авторам создавать аннотации к их исследовательской работе или главе в книге.
В основном существует два класса резюмирования текста:
1. Резюме абстрактного текста
2. Экстрактивное обобщение текста
Резюме абстрактного текста похоже на использование ручки при чтении книги. В основном, что мы делаем во время экзаменов? читая текст, мы пишем краткое пояснение по этому поводу сбоку от абзаца своими словами, верно? Это абстрактное обобщение, когда машина создает собственное резюме исходного текста. Но создание абстрактного резюме - сложная задача, поскольку она включает сложное языковое моделирование.
Извлекающее обобщение текста похоже на использование маркера при чтении книги. Как и в большинстве случаев при чтении, мы выделяем те, которые считаем важными. Вот как работает экстрактивное обобщение. Берет основные предложения из списка предложений и формирует резюме.
Где его можно применить?
Существуют различные области, в которых могут применяться ATS, например:
1. Абстрактное создание исследовательской статьи.
2. Абстрактное поколение книг
3. Обобщение новостных статей.
4. Подведение итогов любых статей.
5. Обобщение историй в виде краткого описания.
6. Подведение итогов блогов
7. Обобщение писем
8. Обобщение документов.
9. Создание обзоров фильмов
Текущие популярные приложения для суммирования новостей в Индии:
- Awesummly: Awesummly использует алгоритмы AI, чтобы резюмировать статью до 80–100 слов.
Awesummly был основан в июле 2015 года Нитином Мишрой (генеральный директор), Дипаком Мишрой (технический директор) и Анкитом Дхаваном (директор по маркетингу). Awesummly генерирует сводку новостей в режиме реального времени, поскольку они используют алгоритмы ИИ для резюмирования статьи. Awesummly также использует свой алгоритм для региональных новостей и выпустил новости на 8 языках: гуджарати, маратхи, тамильский, канадский, бенгальский, пенджаби, малалам, телугу.
2. Inshorts: Inshorts резюмирует статью вручную в 60 слов.
Inshorts начали в 2013 году Азхар Икубал, Дипит Пуркаястха, Анунай Арунав. Краткие резюме составляются авторами контента в абстрактной форме. Inshorts в настоящее время обобщает статьи на английском и хинди.
Стартапы по обобщению содержания / текста:
1. Tldr.io
2. Аголо
3. Обрезано
4. Вондрен
5. ThisIs.Me
6. Палубная книга
7. Skim Technologies
8. Debate.fm
9. Voxini
10. Smmry
11. Риярхия
12. Гаджере
13. Краткое описание
14. Newspeye
15. Summaritan
Для резюмирования текста доступны различные библиотеки Python. Некоторые из них перечислены ниже:
newsPaper3k
Сумы
Gensim
Надеюсь, это было достаточно информативным, чтобы вы поняли резюмирование текста. Базовый пример реализации доступен в Github: https://github.com/pemagrg1/text_summarization
Попробуйте выполнить код и вуаля !! у вас есть сводный текст для извлечения готов!
