Личный канал Алексея Чернобровова - консультанта в сфере Digital: Data Science, Big Data, BDSM, Digital Transformation, Artificial intelligence – и все вот эти модные слова.:) Анонсы мероприятий, вакансий, зарисовки личной жизни)
🗣Нужен мощный и просто NLP-инструмент на Python? Попробуйте spaCy!
spaCy — это бесплатная библиотека с открытым исходным кодом для расширенной обработки естественного языка в Python. Она разработана специально для производственного использования и помогает создавать приложения, которые обрабатывают и понимают большие объемы текста. spaCy можно использовать для создания систем извлечения информации или понимания естественного языка.
Основные фичи библиотеки:
• поддерживает почти 70 языков
• 73 обученных pipeline’а для 22 языков
• многозадачное обучение с предварительно обученными трансформерами типа BERT
• предварительно обученные векторы слов
• высокая скорость
• возможность применения в реальных ML-системах
• лингвистически мотивированная токенизация
• включает компоненты для распознавания именованных сущностей, тегирования частей речи, анализа зависимостей, сегментации предложений, классификации текста, лемматизации, морфологического анализа, связывания сущностей и пр.
• расширяется с помощью настраиваемых компонентов и атрибутов
• поддерживает пользовательских модели в PyTorch, TensorFlow и других фреймворках.
• Включает встроенные визуализаторы синтаксиса и NER
• простая упаковка модели, развертывание и управление рабочим процессом
• надежность и высокая точность
Библиотека вполне зрелая, уже вышло несколько релизов ее 3-ей версия. Документация подробная, с примерами использования. spaCy совместима с 64-битным CPython 3.6+ и работает на Unix/Linux, macOS/OS X и Windows. Установка через менеджеры пакетов pip и conda.
https://spacy.io/
spaCy is a free open-source library for Natural Language Processing in Python. It features NER, POS tagging, dependency parsing, word vectors and more.