Показатели и процессы оценки качества перевода с клиентами

Перевод по своей сути является субъективным процессом, а это означает, что по умолчанию качество переведенного контента также является субъективным. Это создает проблему для поставщиков языковых услуг, которые стремятся гарантировать своим клиентам стандарт качества услуг.

Поставщик языковых услуг не может просто сказать: «Мы предоставляем качественные переводы», потому что что это на самом деле означает? У вас и вашего клиента могут быть совершенно разные представления об этом.

Есть компоненты, которые ближе к объективности, чем другие: передает ли это переведенное предложение тот же смысл, что и исходное предложение? Есть ли грамматические ошибки? Но, как объясняет Web-Translations,

«То, что перевод точно передает смысл исходного текста, не обязательно означает, что он является качественным — качественный перевод — это не только сохранение смысла, он должен соответствовать заданным требованиям и быть пригодным для использования».

Эта дилемма не нова. С самого начала развития отрасли поставщики и покупатели переводческих услуг должны были договариваться о том, какие критерии они будут использовать для оценки качества своей работы. Но растущее доминирование машинного перевода еще больше усложняет этот процесс.

Контент, переведенный с помощью машинного перевода без редактирования человеком, может служить быстрым и дешевым средством перевода контента, который ранее был бы недоступен для бюджета клиента. Поскольку становится возможным переводить новые и более объемные материалы, мы переходим к более гибкому спектру стандартов качества. Хотя клиент является окончательным арбитром качества, LSP часто может направлять эти требования и поощрять конкретные процессы оценки качества.

Существует множество моделей, предназначенных для оценки качества перевода, большинство из которых основаны на типологии ошибок и в значительной степени игнорируют стиль. Конкретные модели популярны в определенных отраслях или для определенных типов контента. Например, метрика SAE J2450 была разработана Обществомавтомобильных инженеров (SAE), а метрика LISA QA была создана специально для отраслей производства аппаратного и программного обеспечения. Многомерные метрики качества представляют собой структуру, которая помогает в структурировании и применении оценки качества. MQM не является метрикой, «а скорее представляет собой исчерпывающий каталог типов проблем качества со стандартизированными названиями и определениями, который можно использовать для описания конкретных метрик для определенных задач».

Аналогичным образом, TAUS Dynamic Quality Framework (DQF) была специально разработана для обработки нескольких уровней стандартов качества для процессов машинного перевода.

Для некоторых проектов может быть более полезно оценивать качество на основе контекста, а не ошибок в переводе. Михаил Влад, вице-президентрешений машинного обучения компании SDL, предлагает несколько ситуативных альтернатив:

• Качество для постредактирования измеряется по повышению производительности переводчика.

• Качество для многоязычного eDiscovery измеряется по точности идентификации нужных документов.

• Качество многоязычного анализа текста измеряется эффективностью аналитика в выявлении релевантной информации.

• Качество многоязычного чата измеряется рейтингом обратной связи конечного клиента.

LSP могут обучать своих клиентов способам оценки качества, которые могут принести им дополнительную выгоду, например, снижение затрат или повышение уровня удовлетворенности конечных пользователей.

В рамках внутренних оценок по проектам редакторы проверяют и оценивают переводчиков в ходе редактирования/корректуры проекта. Они могут использовать систему оценивания, созданную ими самостоятельно, или основанную на существующей модели. Руководители проектов могут отслеживать и устанавливать стандарты на основе средней оценки переводчика.

Некоторые CAT-инструменты и переводческие памяти имеют один илинесколько интегрированных в них метрик, которые можно использовать для оценки качества перевода. Клиенты также могут проводить собственные оценки на основе конкретных проектов. Во многих случаях клиенты безоговорочно доверяют поставщику языковых услуг, основываясь на его рекомендациях и репутации. Однако крупные компании могут использовать местных дистрибьюторов, таких как местные реселлеры или члены команды в местном филиале, или нанимать сторонних рецензентов для проверки качества работы LSP.

При работе с внешними рецензентами важно, чтобы согласованные ожидания между поставщиком языковых услуг и его клиентом распространялись и на них. Существует две распространенные проблемы, которые могут возникнуть, когда рецензенты не находятся на одной волне. Во-первых, я видел, как местные дистрибьюторы вносили ошибки в перевод, потому что они не являются языковыми экспертами. Во-вторых, особенно при постредактировании контента с низким приоритетом, LSP и его клиент могут договориться о более низком стандарте перевода, но не проинформировать об этом рецензента. Это может вызвать проблемы, даже если LSP предоставляет услуги, запрошенные клиентом.

Не весь контент необходимо переводить и редактировать, чтобы он соответствовал самым высоким стандартам качества. С помощью машинного перевода можно переводить огромные объемы контента быстрее, чем когда-либо прежде, но качество таких переводов может быть разным.

Другими словами, это может быть достаточно хорошо, когда контент с низким приоритетом, такой как комментарии на веб-сайте или сообщения на форуме, понятен без редактирования с точки зрения беглости и грамматики.

Особенно когда вы используете машинный перевод с различными уровнями постредактирования, вы можете работать с несколькими типами контента для одного и того же клиента, используя разные уровни цен и ожидания по качеству.

Хотя оценки на основе проектов являются предметом переговоров между LSP и их клиентами, другие типы оценок также важны для поддержания высокого качества услуг.

При найме нового переводчика поставщики языковых услуг требуют пробный перевод, чтобы оценить общий уровень компетенции переводчика. Компании могут использовать простой порог «прошел/не прошел» или создать более сложную скользящую шкалу, чтобы выделить предпочтительных поставщиков. Оценка проводится с использованием внутренней или отраслевой стандартной метрики. Может быть полезно использовать одну из тех же метрик, которые вы используете при работе с клиентами.

В предыдущей статье о машинном переводе и постредактировании мы обсудили, как измерить качество механизма машинного перевода, что является еще одним типом оценки, не связанной с конкретным проектом.

Может быть полезно периодически отправлять образцы готовых переводов для оценки внешнему редактору или другой редакционной команде. Если вы постоянно работаете с одними и теми же редакторами, а ваши клиенты не проверяют вашу работу, у вас нет ориентира, по которому можно оценить качество вашей работы. Поставщики языковых услуг могут использовать случайные проверки, чтобы дополнительно контролировать работу редакторов и переводчиков и обеспечить постоянное соблюдение ваших стандартов качества.

Таким образом, отношение отрасли к качеству развивается вместе с совершенствованием технологий и изменением потребностей клиентов. Как сообщает Common Sense Advisory,

«Универсальные модели качества не способны удовлетворить разнообразные потребности, с которыми сталкиваются компании сегодня. Гибкая модель позволит вам настраивать процессы без необходимости их постоянной перенастройки».