пользователей: 30398
предметов: 12406
вопросов: 234839
Конспект-online
РЕГИСТРАЦИЯ ЭКСКУРСИЯ

Методы автоматического аннотирования и реферирования текста: статистический метод

Методы автоматического реферирования:

  1. Статистический: в данном методе ключевое слово – это знаменательное слово текста, которое с учётом синонимов встретилось в тексте наибольшее число раз.
    1. Задача: по формуле Кважн=Fm/Nn  где
      F – число повторений слова в тексте,
      m – число абзацев, где есть это слово,
      N – количество слов в тексте,
      n – количество абзацев в тексте
      составить алгоритм, позволяющий получить:
      • аннотацию текста в виде слов-реляторов со следующими за ними ключевыми словосочетаниями текста – ключевыми существительными со стоящими перед ними определениями, выраженными прилагательными или причастиями;
      • словесный реферат текста в виде последовательной цепочки ключевых предложений – предложений, содержащих три и более ключевых слова.
      • Словоупотребление – цепочка символов, заключённых между двумя пробелами.
      • Словоформа – словоупотребление вне текста. Несколько словоформ, имеющих одно и то же лексическое значение, образуют слово.
  2. Алгоритм решения задачи:
  • ПК по каждому абзацу составляет алфавитно-частотный словарь словоформ;
  • Все словари объединяются в единый распределительный алфавитно-частотный словарь всего текста;
  • Система «чистит» словарь, сжимая его до словаря потенциальных ключевых слов:
    1. Удаляется служебная и общепринятая лексика;
    2. Объединяются грамматические формы одного и того же слова;
    3. Объединяются синонимы;
    4. Удаляются слова, встреченные только в одном абзаце;
  • Словарь потенциальных опорных слов делится (с помощью Кважн) на
    1. Словарь главных опорных слов;
    2. Словарь второстепенных опорных слов;
  • Строится аннотация, составленная из слов-реляторов со следующими за ними ключевыми словосочетаниями, состоящими из главного опорного слова и определения.

25.06.2014; 22:24
хиты: 109
рейтинг:0
Точные науки
информатика
для добавления комментариев необходимо авторизироваться.
  Copyright © 2013-2024. All Rights Reserved. помощь