Эталонный набор материалов с известными правильными ответами. Каждый прогон измеряет:
точность категории, полноту извлечения, количество выдуманных значений. Запускайте после
каждого изменения промптов — цифры покажут, стало лучше или хуже.
—
ТОЧНОСТЬ КАТЕГОРИИ (NOUN)
—
ТОЧНОСТЬ ПОДТИПА (QUALIFIER)
—
ПОЛНОТА ИЗВЛЕЧЕНИЯ
—
ВЫДУМАННЫХ ЗНАЧЕНИЙ
должно быть 0