Команда прикладных исследований «ВКонтакте» разработала нейросеть, которая создает новостные заголовки на русском и английском языках. Об этом сообщает пресс-служба соцсети.
Для обучения нейросети разработчики использовали тексты агентства «РИА Новости» и издания The New York Times. Работу в апреле представили на Европейской конференции по информационному поиску (European Conference On Information Retrieval 2019) в Кельне.
Для генерации заголовка нейросети нужен только текст новости. Модель обрабатывает его и формулирует заголовок из фрагментов слов, таким образом подбирая правильные падежи и склонения.
Чтобы создать нейросеть, разработчики использовали архитектуру Universal Transformer и технику компрессии данных BPE (Byte Pair Encoding), которые обычно применяются в машинном переводе и позволяют ограничиться небольшим словарем для генерации заголовков. Во «ВКонтакте» утверждают, что сотрудники компании первыми использовали BPE для модели суммаризации текста и обучили такую модель на русскоязычных новостных материалах.
Чтобы проверить качество работы модели, разработчики показывали добровольцам новость и два заголовка к ней. По словам опрошенных, в 45 % случаев машинный заголовок был не хуже оригинального, а в 15 % — лучше.
По словам разработчика-исследователя Даниила Гаврилова, результаты работы помогут быстро выделять главную мысль из длинных текстов. Потенциально ее можно применить для умного сокращения постов в ленте пользователя или для создания новостных дайджестов.
