Contact Us

Особенности поиска имён

При работе с большими данными часто представляется удобная возможность автоматизировать отдельные механические задачи по извлечению информации, не требующие творческого подхода. К таким задачам относится, например, поиск в текстовых данных, извлечение и разрешение имен людей. Например, страховой компании может понадобиться автоматически извлечь из записей call-центра имена всех участников ДТП. Компании приходится обрабатывать сотни тысяч записей еженедельно. Взглянув на один небольшой текст, человек с легкостью выделит в нем имена людей. Но вы…
Read More

Поиск нечетких соответствий в разных источниках данных и их объединение

В обычной практике специалисту по анализу данных часто приходится объединять две или более таблиц в одну. Эта операция называется объединением (Join). Ее выполнение не составляет труда, если каждая запись имеет уникальный ID, который присутствует в обеих таблицах.  Однако чаще всего уникальные идентификаторы записей, используемые в таблицах данных, создаются разными способами и потому не совпадают. В подобных случаях недостаточно просто объединить таблицы. Рассмотрим для примера ситуацию, когда аналитик работает с разными источниками…
Read More

Что такое “анализ тональности”?

Анализ тональности – термин, который сегодня у всех на слуху, однако далеко не все до конца понимают этот класс методов анализа данных и как его использовать. Применение инструментов сентимент-анализа в бизнесе дает преимущества не только компаниям, но и их клиентам, поскольку позволяет усовершенствовать товары и услуги, выявлять сильные и слабые стороны товаров конкурентов, а также создавать таргетированную рекламу. Анализ тональности текстов (анг. Sentiment Analysis, Sentiment Detection или Opinion Mining) – определение полярности эмоциональных оценок в…
Read More

PolyAnalyst вводит поддержку стоп-листов при анализе орфографических ошибок

Для того, чтобы неизвестное слово не рассматривалось как орфографическая ошибка, в предыдущих версиях PolyAnalyst его нужно было обязательно добавлять в морфологический словарь. Это было не очень удобно, поскольку иногда пользователям приходилось добавлять в словарь морфологии такие единицы, которых в нем не должно быть, например, названия моделей (Модель ABC-XYZ) и какие-то редкие иностранные заимствования (yukata). Теперь же в PolyAnalyst во время орфографической проверки текстов могут быть использованы специальные словари стоп-слов (стоп-листы). С…
Read More
Меню