Появляется множество новых инструментов для улучшения рабочего процесса инженеров ML, DevOps и разработчиков, которые полагаются на OpenAI API. Повышение производительности просто ошеломляет, поэтому я хотел поделиться своим опытом и некоторыми советами о том, какие модели могут вам подойти лучше всего.

Для улучшения своего рабочего процесса я чаще всего использую:

K8sGPT.ai

Что позволяет:

  • Совершенствуйте свои навыки DevOps, объясняя выходные данные kubectl.
  • Избавьтесь от шума и суммируйте тонны файлов журналов.
  • Сокращает время сортировки проблем
  • Получите краткий обзор состояния вашего кластера K8s.

Это инструмент, который позволяет улучшить вашу работу с Kubernetes. Столько раз я пытался выяснить проблему в своем кластере K8s, и мне приходилось просматривать невыносимое количество журналов и длинные выходные данные kubectl. K8sGPT может автоматически сканировать ваш кластер на наличие наиболее распространенных проблем и даже объясняет, почему это проблема и как ее исправить. В дополнение к этому Алекс недавно добавил замечательную функцию проверки CVE (благодаря интеграции Trivvy).

Масляная рыба

Что позволяет:

  • Задавайте вопросы об истории вашей оболочки.
  • Генерация и автозаполнение команд оболочки.
  • Дайте GPT цель и позвольте ему выполнять команды.
  • Обобщить локальный файл.
  • Создание и поиск внедрений локальных файлов.
  • Просматривайте и редактируйте фактические подсказки ИИ.

Butterfish позволяет вам использовать возможности LLM, не покидая терминал. Это огромное улучшение по сравнению с общедоступным доступом через веб-интерфейс или REST API. Если в вашем рабочем процессе используется vim+tmux, или вы предпочитаете использовать Emacs, как я, или вы работаете на удаленном компьютере где-то в центре обработки данных и подключаетесь к нему по SSH, вы проводите большую часть своего времени перед терминалом. Butterfish плавно интегрируется с этим рабочим процессом. Это наиболее полезно, когда вы точно знаете, что вам нужно делать, например: «Я хочу изменить формат файла с .xyx на .py во всех подпапках /home/code/projectY, которые начинаются с буквы A и имеют 3 цифры в имени». имя папки», и вы не хотите тратить 5 минут на просмотр документации и поиск правильного синтаксиса.

Автозаполнение

Всплывает подкоманды, параметры и контекстно-зависимые аргументы в существующем терминале.

  • Простая установка с помощью Brew
  • Контекстные подсказки
  • Широкий спектр поддерживаемых инструментов
  • Быстрый

Это еще один инструмент, который поможет вам разобраться с синтаксисом команд в терминале. Это также улучшает ваши навыки. Я узнал так много новых возможностей инструментов, которые использую ежедневно, просто просматривая возможные варианты в окне автозаполнения во время набора текста. Аргументы, которые вы видите, предлагаются на основе контекста, над которым вы работаете, поэтому в 80% случаев они очень полезны.

Оболочка ChatGPT Emacs

  • Используйте LLM непосредственно в Emacs
  • Интегрируется с режимом организации, чтобы расширить возможности ваших заметок и TODO.
  • Создавайте изображения непосредственно в файл, который вы редактируете.
  • Доступен пакет MELPA для легкой установки.

Я думаю, что этот вариант был бы моим любимым, но я предвзят, так как давний пользователь emacs и org-mode. Хотя, если это не ваш путь, вы можете найти аналогичные плагины для Obsidian, еще одного замечательного приложения для заметок. Благодаря интеграции с Emacs вы сможете еще больше повысить свою производительность. Написание блога и необходимость создания диаграммы или изображения — без проблем. Если вы пишете код и вам нужно сгенерировать красивую строку документа, вы тоже можете это сделать. Что еще лучше, с точки зрения специалиста по данным, так это то, что когда вы редактируете Jupyter Notebook, он также работает там. Эта интеграция действительно делает ваши записные книжки намного лучше, особенно если вы хотите поделиться ими с более младшими членами команды, вы можете создать подробное описание того, что на самом деле делает каждая ячейка.

LocalAI для конфиденциальности и точности

Это все здорово, но, глядя на это с точки зрения конфиденциальности, вам нужно спросить себя: «Хочу ли я поделиться всеми подсказками моего терминала с OpenAI?».

Есть также сомнения по поводу ухудшения качества ответов и постоянно добавляемых ограничений, в первые дни можно было спросить: «Каковы наиболее популярные способы ограбления банка, который полагается на ИТ?» (поскольку я работаю директором по информационной безопасности и создаю карту угроз) или «как написать эксплойт для WordPress vX.Y» (поскольку я пишу тесты для своей новой среды).

В наши дни мы могли бы перейти к ответам на уровне мемов, например: «Извините, как языковая модель-самоучка, я не могу дать вам инструкции, как готовить рис. Приготовление пищи — чрезвычайно опасный процесс, который может привести к причинению вреда вам или другим людям».

Так в чем же решение? Размещение собственного LLM со стандартным API на своей машине. И лучший способ добиться этого — использовать Local.AI, который дает вам:

  • Локальный альтернативный API OpenAI.
  • Работает офлайн
  • Ускорение графического процессора доступно в LLM, совместимых с llama.cpp.
  • Генерация вложений для векторных баз данных
  • Скачивайте модели прямо с Huggingface

И это очень просто запустить

git clone https://github.com/go-skynet/LocalAI
cd LocalAI
docker-compose up -d - pull always

Более подробное руководство по настройке, написанное Тайлером из Spectro Cloud и показывающее интеграцию K8sGPT, находится ЗДЕСЬ.

Важно выбрать, какая модель лучше всего подходит для работы, и я хочу поделиться с вами некоторыми выводами после использования такого рабочего процесса в течение пары недель:

Итак, в общем, я бы очень рекомендовал вам начать экспериментировать с внедрением LLM в рабочий процесс вашего терминала. Существует множество инструментов, позволяющих сделать это безопасным и удобным способом при локальной настройке. Это также не слишком требовательная к ресурсам установка, и любой приличный ноутбук для разработчиков, такой как XPS 13, MacBookPro…, легко с ней справится. Если вы ищете повышение производительности, вам обязательно стоит попробовать.

Если вы хотите узнать больше о генеративном искусственном интеллекте, больших языковых моделях или MLOps с открытым исходным кодом, познакомьтесь со мной и моей командой во время Canonical AI Roadshow.