Используйте модель ИИ для получения результата, лучшего результата и наилучшего результата

Введение

За последние несколько дней я уже создал два небольших инструмента с помощью ChatGPT.





Это просто самое основное использование генеративного ИИ, и общее между ними то, что я сделал только случайный запрос, а затем ИИ дал мне в основном разумный результат. Когда я говорю «в основном разумно», это потому, что у моего исследования нет никаких шаблонов или направлений. Возможно, второму приложению присуще направление, такое как «проверка синтаксиса и грамматики английского языка» и т. п., но это направление не имеет конкретных шаблонов или оно «слишком простое». В результате сгенерированные результаты не могут быть «углубленными». В этой статье мы обсудим, как делать структурированные запросы или «быстрое проектирование».

Новый стиль программирования

Лично я считаю, что подсказки — это новый подход к программированию. Не думайте, что управлять моделями с помощью естественного языка легко. Наоборот, я считаю, что это совсем наоборот. В программировании на естественном языке отсутствует синтаксис традиционных языков программирования, что означает отсутствие проверки типов или каких-либо защитных механизмов. Если модель (ИИ) получает неподходящее приглашение, сгенерированные результаты могут полностью отличаться от ожидаемых.

Вот подсказка. Я использовал модель диффузии в компьютерном зрении. Хотя это принесло некоторые сюрпризы, на самом деле это не моя конечная цель.

Запрос приложения на основе LLM

Нулевой вывод

Один или два выстрела… заключение о нескольких выстрелах

Более одного….

Контекстное обучение (ICL)

Если обучение с помощью Few-Shot по-прежнему вас не удовлетворяет, возникает необходимость в точной настройке модели.

Процесс подсказок в приложении Computer Vision

У меня есть пример: сгенерировать команду для создания стеклянной чашки, затем выполнить простую визуализацию и, наконец, ввести в нее воду.

Модель

В целом процесс подсказок в резюме похож на автоматизированный фотошоп. Качество предсказанных изображений или рисунков зависит от качества текста подсказки и модели. В настоящее время я провел тест на основе двух моделей диффузии. Модель опубликована на https://huggingface.co/stabilityai.





Моя подсказка

  • подсказка/генерация: прозрачная стеклянная чашка, пустая, без воды
  • человеческое взаимодействие/обрезка генерируемого результата
  • подсказка/окраска: небольшое освещение, на поверхности стекла, очень теплое
  • подсказка / inpaint: налейте немного воды
  • подсказка / inpaint: немного капель воды за поверхностью стеклянной чашки

Код: https://github.com/XinyueZ/cv-prompt-engineering