Comments 25
Интересная идея, но вот ответы по моему бесполезны. Пара полезных слов и много воды. Единственное ценное - ссылки, но ведь их можно и простым индексированием выдавать.
Вы оценивали CSI?
Чтобы понять, полезные ответы или бесполезные, мы привлекли на помощь асессоров. Вместе разметили ответы поиска и оценили его качество. Совместный вывод сделали такой: польза есть и в самих ответах, табличка в посте это подтверждает.
Да, согласен, ссылки можно выдавать индексированием. Но ссылки — это точно не единственная польза. Польза есть и в ответах.
CSI явно не оценивали. Неявно — по оценкам от пользователей можно сделать первые выводы. Количество положительных оценок совпадает с количеством отрицательных оценок, но пока это статистически незначимые числа. Продолжаем набирать статистику.
а как подобную штуку реализовать?
https://www.highcharts.com/chat/gpt/
Всё-таки этот вопрос лучше задать разработчикам Highcharts GPT.
Но кое-что можно и прикинуть самим. В блоге у них есть подсказка — модель отвечает только по версиям до 2021 года. Значит, они даже не дополняют "контекст" вопроса свежими примерами использования своей библиотеки. Выглядит так, что этот поиск работает следующим образом: к промпту пользователя "Create a donut chart of the world's top 5 car manufacturers. Use dark mode." они дописывают в конце что-то вроде: "Use Highcharts JS library". Я задал такой вопрос модели ChatGPT, ответ по содержанию совпадает с ответом Highcharts GPT.
Ну и с другой стороны их система не отвечает на вопросы за пределами вопросов Highcharts , но с удовольствием расскажет как это юзать
есть instruct модели, которые пишут четко что в промпте одним ответом, а большая часть промпта будет системная, которую вы не видете. в ней будет написано что-то типа "напиши js код используя следующие функции.." ну и там будет перечень функций с описанием. есть путь посложнее - дообучение. месяца 3 это есть в chatgpt, дообучить не дорого стоит.
ЗЫ: при желании наверно можно заставить написать не код, надо эксперементировать
Перечитал ваш ответ.... согласен с версией
Легко, вам нужен интерпретатор кода.
Если пользователь по ключевому слову в простом поиске "dmz" или "ipsec" не может найти ответа на свой вопрос по этой теме, то проблема в самой документации.
Асессорам мы доверяем больше, чем пользователям. Поэтому смотрим на самый правый столбец.
А почему? На мой вкус реальный отзыв от пользователя системы актуальнее для понимания решает ли эта система поставленную задачу. Нежели несколько деформированное восприятие человека цель которого не решить проблему с помощью инструмента, а протестировать инструмент.
Не соглашусь с первым тезисом. Если пользователь по ключевому слову "ipsec" не может найти ответа на свой вопрос, то могут быть разные тому причины, например:
В документации про это нет. Согласен, это проблема документации.
Пользователь получает много ссылок на страницы, где упоминается "ipsec". И ему сложно обработать такой объем информации в ответе. В этом случае документация "не виновата". И поможет тут "умный" поиск, если пользователь более подробно сформулирует свой запрос.
К вопросу, почему мы больше доверяем асессорам. Важно заметить: речь не про "отзыв от пользователя". Речь про оценку пользователя, насколько хороший ответ в поиске он получил. Пользователь не всегда обладает знаниями, чтобы корректно оценить качество ответа, особенно сложного и объёмного ответа. Асессор лучше знает предмет и корректнее сможет оценить качество ответа.
Пользователь получает много ссылок на страницы, где упоминается "ipsec". И ему сложно обработать такой объем информации в ответе. В этом случае документация "не виновата". И поможет тут "умный" поиск, если пользователь более подробно сформулирует свой запрос.
Для этого используют не один ключ в поиске) Я понимаю, что "гугление" - забытая техника древних, но не до такой же степени. И мы снова упремся в то насколько хорошо написана документация, охватывает ли она весь функционал софта и т.п.. Перевод тех документации в "упрощенный человеко читаемый формат" с помощью нейронки - хорошая задача для разминки. Но для реальных юзкейсов сомнительно... человек не знающий что такое DMZ не будет у нейронки спрашивать советов по его настройке, а знакомый со значением термина довольно легко найдет нужный раздел в документации. А абстрактные кейсы "Как заблокировать сайт Х" решаются хорошим FAQ или рекапом текста документаци, тут как раз может помочь нейронка сократить время на подсвечивание основных сценариев использования и функций софта.
Речь про оценку пользователя, насколько хороший ответ в поиске он получил. Пользователь не всегда обладает знаниями, чтобы корректно оценить качество ответа
Но задача пользователя не решена или решена отсюда и оценка пользователя по качеству ответа. И это важнейший критерий качества ответа, нет?
Называйте меня пароноиком, но таки интеграция помошника на базе OpenAI API в справочную систему для ПО обеспечения безопасности ориентированного на рынок РФ в текущей геополитической ситуации напрашивается на ачивки:
Утечка сведений об особенностях конкретных инсталяций этого самого ПО (через вопросы пользователей с конкретными настройками)
Первая успешная атака вида 'автоматизация приёмов социальной инженерии для создания заведомо уязвимых конфигураций посредством llm'
Как для хаброуровня ждал какой то код с описанием. По факту только два слова langchain и retrievalqa.
Рабочий код подобного примера со всеми пояснениями опубликован в оригинальной работе, на которую я ссылаюсь в посте: https://www.reaminated.com/run-chatgpt-style-questions-over-your-own-files-using-the-openai-api-and-langchain
Все это реализовано в flowiseai
промпт покажите?text_splitter = CharacterTextSplitter(chunk_size=512 , chunk_overlap=0)
это все варианты разделения?
А llama index не пробовали?
Не работал с таким инструментом
Посмотрите, оно как раз для аггрегации внутренней документации, причём из разных источников, типа пдф, док и много чего другого. Индексирует и отправляет в чатгпт. Идея крутая, но я, как далёкий человек от мл/ии, примерно заставил это работать и оно хорошие ответы выдает, но обрезанные. Скорее всего, чтото подтюнить надо :)
Хотелось бы узнать ваше мнение по поводу (потенциальной) возможности применения этого инструмента https://habr.com/ru/articles/778414/ к вашей задаче. Я имею ввиду прикрепить вашу базу документов к ассистенту и потом разговаривать с этим ассистентом.
Возможность подключения собственной базы документов к ассистенту есть. Попробовать данный функционал можно на платформе openai в playground. Интегрировать с кодом не пробовал, но через API это можно сделать.
Не знаю на сколько ещё актуально, но хотел бы добавить: Яндекс выкатил свой новый ЖПТ - YandexGPT 3. Намного лучше работает на русском языке. Для данных на могучем намного лучше, чем решение от OpenAI. На мой взгляд.
Подключаем умный поиск (GPT) к своей базе документов