Contact Us

Машинный перевод или обработка текста на языке оригинала?

Машинный перевод или обработка текста на языке оригинала?

ml-translate-interpretВ эпоху глобализации данные, с которыми мы имеем дело, часто имеют глобальный характер. Специалист по анализу данных даже в самой небольшой компании сегодня часто сталкивается с необходимостью обработки текстовых данных на нескольких языках. Что делать в подобной ситуации?

Вы можете выбрать один из двух подходов: машинный перевод иноязычных текстов или анализ текстов на языке оригинала.

  1. Первый подход предполагает создание копии таблицы данных, в которой все тексты переведены на один язык, и последующий анализ этой таблицы.  При этом сам процесс анализа данных упрощается, поскольку для его выполнения вам понадобится только один языковой модуль.
  2. При втором подходе документы на языках оригинала анализируются с помощью нескольких соответствующих языковых модулей.

Для наглядности представьте, что вы работаете с таблицей данных, в строках которой содержатся комментарии клиентов компании на английском и испанском языках. Независимо от того, какой из двух описанных выше подходов вы намерены использовать, для начала вам необходимо разделить все записи в таблице по языку. Таким образом, в нашем случае вы получите две таблицы данных — на английском и испанском языках. Затем вы можете использовать систему PolyAnalyst for Text™ для того, чтобы проанализировать все записи на исходных языках с помощью соответствующих языковых модулей. В текущей версии нашего программного продукта поддерживается 16 языков. Кроме того, предусмотрена возможность интеграции таких сторонних переводческих сервисов, как Microsoft, SDL и Google. Разбить исходную таблицу на две в зависимости от языка пользовательских комментариев можно с помощью двух узлов системы PolyAnalyst — Определение языка и Фильтрация строк. Первый узел автоматически определяет язык каждой исходной записи (см. рис. ниже). После того, как каждой записи будет присвоен тег с указанием языка, эти теги могут быть использованы для фильтрации данных по языку.

Такие переводческие сервисы как Google и Microsoft могут бесплатно определить язык каждой отдельной записи, но для того, чтобы перевести их с любого языка на какой-то ругой язык, вам придется заплатить за эту услугу.

Language Detection in PolyAnalyst

PolyAnalyst workflow for detecting and filtering text data by language.

Такие переводческие сервисы как Google и Microsoft могут бесплатно определить язык каждой отдельной записи, но для того, чтобы перевести их с любого языка на какой-то другой язык, вам придется заплатить за эту услугу. В связи с этим лучше заранее разбить таблицу данных на подмножества по языкам и перевести с помощью этих сервисов только те записи, которые вам нужны. Это позволит минимизировать расходы.

После того, как вы разобьете данные на подмножества по языкам, необходимо выбрать дальнейшую стратегию: машинный перевод или обработка данных на языке оригинала. Рассмотрим преимущества и недостатки обоих подходов.

Машинный перевод: за и против

ЗА

  • Относительно низкая стоимость
    Машинный перевод обходится достаточно дешево даже при работе с большим объемом данных. Стоимость услуг машинного перевода определяется исходя из количества печатных знаков в тексте. Для справки преведем здесь следующую информацию: за услуги машинного перевода от компании Microsoft (а это минимальная цена) вам придется заплатить из расчета $10 за 1 миллион знаков. Если учесть, что страница в формате Microsoft Word содержит около 3000 знаков, то вы сможете перевести 333 страницы за $10. Если ваша таблица действительно огромна, то ее перевод обойдется дорого. Однако это — более экономный вариант по сравнению с оплатой труда нескольких аналитиков, которые свободно владеют несколькими иностранными языками.
  • Доступность данных
    Все данные переводятся на один язык и становятся доступны большому кругу специалистов. Это значит, что даже если изначально данные были представлены на разных языках, конечные пользователи (руководящий состав и тим-лидеры), которые говорят только на английском языке, могут подробно просмотреть текст каждой исходной записи и определить, почему запись была классифицирована так, а не иначе.
  • Простота сопровождения
    Обычно в ходе продолжительного анализа данных периодически приходится обновлять схему работы для того, чтобы адаптировать ее под новые тенденции и явления.  Машинный перевод позволяет реализовать единый аналитический сценарий для текстов на одном языке, его техническое сопровождение упрощается. Если вы намерены анализировать данные на языке оригинала, а в вашей таблице данных представлено до 10 разных языков, для каждого языка необходим собственный сценарий и его техническое сопровождение.

ПРОТИВ

  • Низкая точность
    Качество машинного перевода по-прежнему сильно уступает переводу, выполненному профессиональным переводчиком. Но даже опытный переводчик не всегда может эффективно передать в переводе сарказм, сложные фигуры речи или идиомы.  Кроме того, на качество перевода с одного языка на другой может оказать степень их структурно-семантической близости. Например, машинный перевод с одного европейского языка на другой (скажем, с испанского на английский), скорее всего, будет приемлемым. В то же время, по свидетельству специалистов по анализу данных, работающих в компании Megaputer, многие переводческие сервисы дают плохие результаты при работе с такими языками, как японский, китайский и корейский.  Если вы планируете прибегнуть к использованию средств машинного перевода, рекомендуем вам предварительно убедиться в том, что его качество вас устраивает.

Чтобы не быть голословными, приведем пример перевода предложения с японского языка на русский, выполненного с помощью сервиса Google Translate и профессиональным переводчиком. Как вам известно, в японском языке очень важную роль играет контекст.

Оригинал: 生懸命指でまぶたを広げて目薬を差しました。
Google Translate: Я широко раздвинул веки и положил глаза.
Профессиональный перевод: Я осторожно разомкнул его веки и закапал лекарство в глаза.

  • Каковы исходные данные, таков и результат
    Точность анализа данных будет частично зависеть от точности перевода. Если анализировать плохо переведенный текст, полученным данным едва ли можно доверять.

Обработка текста на языке оригинала: за и против

ЗА

  • Бо́льшая точность
    Анализ текстов на языке оригинала обычно позволяет получить более точные результаты, при условии, что работу выполняет профессиональный аналитик.
  • Воспроизводимость и прозрачность
    При таком подходе в анализируемом тексте фрагмент, отвечающий условию поискового запроса, однозначно соотносится с самим запросом и только с ним, что способствует прозрачности результата.

ПРОТИВ

  • Более высокая стоимость
    Анализ текстов на исходном языке обходится дороже. Как правило, компании приходится оплачивать услуги аналитиков, работающих с разными языками, поскольку они должны не только обладать специальными аналитическими навыками, но и владеть несколькими языками.
  • Сложность поддержки
    При необходимости дополнительной настройки моделей и алгоритмов, объем работы технических специалистов увеличивается в несколько раз в зависимости от количества рабочих языков.
  • Меньшая доступность
    Те специалисты компании, для которых предназначены результаты анализа данных, не всегда могут самостоятельно прочитать исходные записи, чтобы понять, что именно привело к полученным результатам.

Другие возможности и факторы, которые необходимо учитывать

На самом деле, существует еще один, самый дорогостоящий, способ решения данной задачи. Вы можете обработать исходные данные на языке оригинала для того, чтобы создать модель, которая позволит получить результаты большой точности. А затем можно прибегнуть к использованию машинного перевода, чтобы конечные пользователи, для которых предназначен отчет, могли без труда понять, о чем идет речь в каждой исходной записи. Однако и в этом случае они не смогут абсолютно точно в 100% случаев определить, почему получен тот или иной результат, в связи с тем, что анализ данных выполнялся на основе непереведенного текста.

Ваш выбор в такой ситуации зависит от того, насколько вы готовы пожертвовать точностью результатов с целью экономии средств…

Без предварительного пробного анализа небольшой выборки данных вам будет сложно определить, какой из приведенных здесь подходов оптимально подойдет в конкретной ситуации. Попробуйте применить автоматизированный перевод, и, если качество результатов будет приемлемым для вас, возможно, вы сможете продолжить работу с ним. Ответьте для себя на вопрос: насколько вы готовы пожертвовать точностью результатов с целью экономии средств? При этом ответ на этот вопрос зависит не только от компании, которая анализирует данные, но даже и от конкретной аналитической задачи.

Другой важный вопрос — Какой переводческий сервис лучше использовать? Вот пример ситуации, которая поможет вам выбрать оптимальный инструмент перевода, когда вам нужно решить задачу по категоризации данных.  Предположим, у вас есть таблица данных с жалобами клиентов, и вы хотите распределить эти записи по категориям в зависимости от их тематики. Так вы сможете определить количество жалоб каждого типа. Рекомендуем вам испытать разные переводческие сервисы на небольшой выборке данных и сравнить их с результатами обработки оригинального текста.  Предлагаем рассматривать результаты анализа оригинального текста в качестве эталона 100%-й точности. Затем рассчитайте точность, полноту и F-меру анализа переведенных предварительно данных. Таким образом вы определите, в каких случаях категоризация была выполнена некорректно.

Например:

  • Анализ оригинального текста позволил выявить 100 категорий жалоб.
  • Вы используете переводческий сервис “A”.
  • На данных, предварительно переведенных с помощью сервиса “A”, вы получаете 70 категорий, 10 из которых не были выделены в ходе анализа оригинального текста, и потому не могут считаться корректными, а 60 категорий идентичны тем, что выделены при анализе оригинальных данных (без перевода).

Точность — отношение количества правильных категорий к общему количеству возвращенных категорий.
В нашем примере 60 правильных категорий из 70 возвращенных.
P = 60/70
P = .857

Полнота — отношение количества правильных категорий к ожидаемому количеству категорий.
В нашем примере 60 правильных категорий из 100 возможных.
R = 60/100
R = .6

F-мера — среднее гармоническое между полнотой и точностью.  Среднее гармоническое — оптимальный способ измерения “средней” величины некоторого набора чисел. F-мера позволяет определить правильность результатов категоризации текстов.
F = ((2)(Точность)(Полнота))/(Точность + Полнота )
F = ((2)( .857)( .6))/( .857 + .6)
F = .706

  • Затем используйте переводческий сервис “B”, и аналогичным образом рассчитайте точность, полноту и  F-меру полученных результатов категоризации. Предположим, что F-мера результатов, полученных на данных, переведенных с помощью сервиса “B” составляет .75. Поскольку сервис “B” позволил получить более высокую F-меру (.75 > .706),  можно утверждать, что качество машинного перевода “B” выше по сравнению с сервисом “A”. При прочих равных условиях, рекомендуем использовать сервис “B”.

 

Кроме сказанного выше, следует учитывать еще один очень важный фактор. Если вы работаете с “чувствительными” данными, которые требуют соблюдения секретности, помните, что такие сервисы как Microsoft и Google сохраняют выборку ваших данных, которые они используют для усовершенствования и доработки собственных алгоритмов. Сервис SDL, например, данные своих клиентов не использует, но при этом результаты многочисленных тестов, проведенных специалистами компании Megaputer, показывают, что переводы, выполненные с помощью инструментов Microsoft и Google, позволяют получить более точные результаты по сравнению с переводами, выполненными с помощью SDL.

Related Articles

Что нужно знать о линейной регрессии
Совместное использование правил и машинного обучения
Как использовать Twitter API
Меню