словоформа
Часть текста между соседними пробелами
лексема
Слово как самостоятельная единица языка, рассматриваемая во всей совокупности своих форм и значений. В одну лексему объединяются различные словоформы одного слова (например, "дождь, дождем, дожди" и т. п.)
лексическая единица
Слово, словосочетание или лексически значимый компонент сложного слова естественного языка, включенное в ИПТ в качестве дескриптора или аскриптора
класс эквивалентности
Совокупность лексических единиц (ЛЕ), различие значение которых несущественно для определения основного содержания документов в информационной системе. ЛЕ объявляются эквивалентными в тезаурусе, если замена одной ЛЕ на другую не приводит к изменению смысла текста, существенному для поиска информации
парадигматическое отношение
Отношение, определяющее группировку слов безотносительно к их актуализации. В основе парадигматики лежит явление соответствия некоторого набора слов некоторому достаточно широкому понятию и вытекающая отсюда возможность репрезентации понятия в речи одним из этих слов.
графематичексий анализ
Этап анализа текстовых документов, на котором в тексте выделяются лексемы такие, как слово, набор цифр, знак пунктуации и т.п
морфологический анализ
Процедура, используемая при обработке текстов в интеллектуальных системах, направленная на выделение в словах их неизменной части и на приписывание словам тех или иных грамматических характеристик
синтаксический анализ
Определение структуры фрагментов (предложений) текста
семантический анализ
Определение (в интеллектуальных системах) смысловых характеристик слов или словосочетаний
идиома
Сочетание языковых единиц, значение которого не совпадает со значением составляющих его элементов
аффикс
Вспомогательная часть слова, присоединяемая к корню и служащая для словообразования и выражения грамматических значений. Аффиксы подразделяются на словообразовательные, образующие новые слова (например, "стол-ик"), и словоизменительные, выражающие отношение слова к другим словам или к говорящему лицу (например, "стол-а", "иду-у")
морфема
Наименьшая языковая единица, обладающая значением. Морфемы подразделяются на два основных типа — корни и аффиксы
омонимия
полисемия
Совпадение языковых единиц, имеющих разный смысл, по написанию или звучанию. Неоднозначность, т.е. обозначение одним знаком разных предметов (денотатов)
синонимия
Совпадение языковых единиц, имеющих разное написание или звучание, но одинаковый смысл
синоним
Словесное обозначение понятия, отличающееся по написанию или звучанию от других слов-значений этого понятия
синсет
Совокупность синонимов одного понятия
сигнификат
Совокупность некоторых признаков предмета, которые существенны для его правильного означивания или именования
гиперонимия
Отношение, обратное к гипонимии
экванимия
Отношение между словами, связанными отношением гипонимии с одним и тем же словом
стемминг
steming
Приведение слов к нормальной грамматической форме путем выделения в них корня (основы), используется в системах Data Mining при обработке текстовых документов, в автоматизированных обучающих системах, системах управления документами
префикс
приставка
Аффикс, стоящий перед корнем
постфикс
Аффикс, стоящий после корня
суффикс
Постфикс, передающий и лексическое, и грамматическое значение; может перевести слово из одной части речи в другую
флексия
Словоизменяющий постфикс
токен
В морфологическом анализе — часть слова, остающаяся после отсечения окончания
дискурс
Часть текста, в которой начинается и завершается единая мысль. Анализ текста с точки зрения его коммуникативной функции и структуры. Теория дискурса изучает закономерность построения текстов, сочетаемость текстовых единиц и фрагментов текста
релевантность
В информационно-поисковых системах — степень соответствия запроса найденным ресурсам
лингвистическая онтология
Онтология, введение понятий в которой мотивируется значениями языковых единиц, относящихся к рассматриваемой предметной области
лингвистический процессор
Компьютерная программа, способная понимать тексты и/или синтезировать тексты на естественном или ограниченно естественном языке
закон Зипфа
Для определенного естетсвенного языка произведение частоты слова в тексте, умноженной на порядковый номер частоты и поделенной на число слов в тексте, — величина приблизительно поятоянная
ГОСТ 7.25-2001
Название ГОСТа "Тезаурус информационно-поисковый одноязычный. Правила разработки, структура, состав и форма представления".