Вы хотите узнать, как обучить искусственный интеллект писать высококачественный контент для ваших собственных целей и необходимую тематику?
С помощью этой статьи вы сможете создавать модели ИИ, пишущие высококачественный контент, который
превосходит все, что могут создать другие инструменты.
Я постараюсь сделать это как можно короче и предложить вам как можно больше информации в картинках.
Инструменты, которые нам понадобятся чтобы создать свою модель в Open AI
Чтобы начать работу с OpenAI, первое, что вам нужно сделать, это зарегистрировать учетную запись. Вы можете сделать
это, посетив веб-сайт OpenAI и нажав на кнопку «Зарегистрироваться«.
После того как вы зарегистрировались, вы можете получить доступ к платформе OpenAI и начать использовать ее различные возможности.
Итак, перейдите по адресу: https://openai.com/.
Перейдите в «футер» сайта и нажмите «Войти». Оттуда вы сможете
войти в систему с помощью Google и выполнить шаги по созданию аккаунта.
Или вы можете просто зарегистрировать новый аккаунт, если вам так удобнее.
Вот ссылка на раздел fine-tuning section «Тонкая настройка»: https://beta.openai.com/docs/guides/fine-tuning.
Я научу вас всему, но все же не помешает осмотреться и разобраться в некоторых вещях самостоятельно. Это поможет в долгосрочной перспективе!
Модели Open AI бывают разные. Узнать подробнее про версии ID модели openai можно в нашей статье.
Следующий инструмент, который нам понадобится, — Postman.
Вы можете зарегистрироваться для получения бесплатной учетной записи
здесь: https://www.postman.com/postman-account/.
Postman позволяет нам отправлять API-запросы в OpenAI и дорабатывать файлы без необходимости
кодировать (здорово, не правда ли?).
До определенных пределов его можно использовать бесплатно.
Хорошо, давайте продолжим.
Наш следующий маленький помощник: https://onlinetexttools.com/remove-empty-text-lines.
Он понадобится нам для создания наборов данных для тонкой настройки, которые впоследствии можно будет использовать
в OpenAI для создания нашего контента.
Он также бесплатный; просто нажмите на ссылку и перейдите к пункту «chain with…».
Это должно выглядеть примерно так, как показано на следующем рисунке:
После нажатия кнопки «chain with…» выберите «JSON Stringify» и нажмите на выбранную опцию.
Это должно выглядеть следующим образом:
Как это поможет нам?
Модель ИИ требует большого количества данных. Эти данные должны быть в определенном формате, чтобы ИИ мог понимать их и учиться на них. Преобразование данных в JSON является одним из способов форматирования.
Строки JSON легко читаются и понимаются компьютерами, что делает их идеальным вариантом для обучения модели ИИ.
Преобразуя наши текстовые данные в строки JSON, мы сможем более эффективно обучать наш ИИ и помогать ему быстрее обучаться. В конечном счете, это поможет нам создать лучшие модели ИИ, которые можно будет использовать для решения различных задач.
Хорошо, все инструменты готовы, поэтому давайте загрузим еще один, который поможет нам позже.
Это Visual Studio Code — https://code.visualstudio.com/.
Установив его, вы сможете в дальнейшем писать строки JSON, которые используются для тонкой настройки.
Postman - создание первой рабочей области (workspace)
Нужно кликнуть на «Create workspace.«
После этого вас перенаправит на страницу где нужно будет заполнить поля «name» и «description» вашего проекта.
В дальнейшем это поможет не забыть какой это именно проект.
Вот так выглядит:
После создания нашего окружения в Postman неплохо было бы ознакомиться с документацией OpenAI.
Ссылка: https://beta.openai.com/docs/api-reference/files
Наша первая задача — загрузить файл в OpenAI с помощью API (этот файл будет содержать наши наборы данных).
Для примера мы будем использовать файл с тестовым содержимым.
После создания рабочего пространства, нам нужно создать коллекцию в Postman:
Далее создаём запрос:
Нажмите «add a request«.
Если вы читали что-нибудь в документации OpenAI, вы знаете URL и тип запроса, который нам нужно сделать. Если нет, то вот он:
https://api.openai.com/v1/files
Это загрузка файла в OpenAI с помощью API. Запрос должен быть сделан с помощью «POST«.
Вот как это должно выглядеть:
Как вы видите, ссылка добавлена в поле «POST«. Поэтому просто скопируйте/вставьте ее.
Вы также можете переименовать запрос, чтобы вы знали, что он делает.
Я буду использовать «Upload file to OpenAI«.
Приведенного ниже примера будет достаточно. Я уверен, что вы сможете сделать это без особых проблем.
Получение ключа API от OpenAI
Для того чтобы все это работало, нам понадобится API-ключ от аккаунта OpenAI.
Не волнуйтесь, OpenAI предоставляет вам 18$ бесплатного кредита, поэтому ключ уже доступен.
Его можно найти в разделе Personal > View API keys.
После этого вы сможете создать или использовать существующий ключ, предоставленный OpenAI.
После этого достаточно просто скопировать/вставить ключ
Настройка Postman для загрузки нашего датасета
Мы хотим создать наш запрос на загрузку файла в Postman. Поэтому нам необходимо сначала настроить среду для него.
В запросе «upload file to OpenAI.», который мы только что создали, перейдите к > headers. Теперь не стоит беспокоиться о том, что в Postman значения находятся по умолчанию, мы добавим свои собственные записи.
В разделе «connection» добавьте в качестве ключа «Authorization«.
Это должно выглядеть следующим образом:
Отлично. Теперь в правой части мы добавим наш ключ API из OpenAI.
Перейдите к OpenAI и ключам API и скопируйте или создайте новый секретный ключ.
Перед тем как добавить его, следуйте этому формату:
Мы закончили с конфигурацией. Теперь переходим в «body section» и добавляем цель и тот же API-ключ.
Под значение «body» выбираем «form-data«
Теперь, когда вы нашли его, следующим шагом будет добавление ключей и значений, которые будут соответствовать OpenAI.
Сначала добавляем «цель» (purpose), затем «файл»(file), который будет с нашим набором данных.
Пожалуйста, убедитесь что значение именно “file”, а не текст, так как это не позволит вам загрузить/выбрать что-либо.
Помните, что OpenAI принимает только файлы типа JSONL, когда дело доходит до тонкой настройки, поэтому я
предоставлю вам свои тестовые данные для этой цели.
Это также поможет вам получить общее представление о наборе данных.
Ссылка для скачивания: https://www.mediafire.com/file/119voo44qurj1j9/paragraphs.jsonl
Мы будем использовать Visual Studio Code для открытия этого файла.
Если вы скачали файл, осталось только загрузить его. Нажмите “select files” и просто выберите paragraphs.jsonl
Вот как должен выглядеть наш конечный результат. Пока мы работаем, не забудьте сохранить свой прогресс в Postman.
Просто используйте «CONTROL + S» на клавиатуре.
Наш последний шаг — отправить запрос и посмотреть, будет ли ответ положительным.
Вот так должен выглядеть результат если всё прошло правильно.
Иногда Postman глючит и не отправляет запросы. Просто перезапустите сайт и зайдите в систему снова.
Выполнение процесса тонкой настройки в Postman
Теперь, когда мы закончили с «загрузкой файла» и узнали, как загрузить наш файл в OpenAI через API запрос, все становится проще.
Мы сосредоточимся на создании процесса тонкой настройки созданного нами файла/набора данных. Так что давайте перейдем прямо к этому!
Давайте вернемся на шаг назад и создадим новый запрос в Postman. Назовем его «fine tune process».
Это также должен быть запрос типа «POST».
Воспользуйтесь этим: https://api.openai.com/v1/fine-tunes.
Его также можно найти здесь: https://beta.openai.com/docs/api-reference/fine-tunes/create.
Просто введите ссылку в POST-запрос, как мы это делали с «загрузкой файла».
Перейдите в раздел > Headers > Key
В Content-Type добавьте значение application/json
В Authorization> Ваш ключ
Bearersk3vfr9H5yIONb1gauWDGyT3BlbkFJnylrOQzCNebQ0oJeGF5O(пример)
Конечный результат должен выглядеть так.
Теперь нажмем на раздел «Body» и перейдем к > «raw».
Именно здесь можно добавить установки для тонкой настройки. Вот мои текущие:
{
«training_file»: » «,
«model»: «davinci»,
«suffix»: «bgdtune»
}
Имена могут быть любыми, от вашего имени до любимого питомца. Мы будем использовать их в дальнейшем!
Надеемся, вы все сделали правильно, и вот результат.
Теперь вы, возможно, задаетесь вопросом, где взять идентификатор «training_file». Это просто; давайте вернемся к нашему
запросу «upload file» и получим его!
Если вы не нашли его, нажмите кнопку «send», чтобы переслать запрос в OpenAI. Наконец, давайте нажмем CONTROL + S, чтобы сохранить наш текущий прогресс в Postman.
Теперь, когда мы почти закончили, пока вы находитесь на запросе «fine tune process», перейдите к кнопке «send» и нажмите ее.
Это отправит файл в OpenAI и начнет его обучение.
Ваш ответ должен выглядеть следующим образом:
Если вы видите это, значит, все готово. Файл был успешно отправлен в OpenAI, и сейчас он проходит обучение.
Получение информации о нашей тонкой настройке из OpenAI
Это будет не так сложно. Все что вам нужно, это API-ключ от аккаунта OpenAI.
Создайте новый запрос в Postman и назовите его «Info on a specific fine-tune.».
Помните, что это запрос «GET«. НЕ делайте его «POST«.
URL, который нужно добавить в запрос: https://api.openai.com/v1/fine-tunes/{fine_tune_id}, где
«fine_tune_id» — это ID вашего файла тонкой настройки.
Вы можете получить его из запроса «fine tune process»». Затем, после нажатия кнопки отправить и получения ответа, ID будет указан в самом начале.
Теперь замените (File_ID) на настоящий.
Это наш конечный желаемый результат. С добавлением «Authorization» и ключа API.
НЕ ЗАБЫВАЙТЕ ЭТО!
Осталось нажать «отправить», как обычно :).
Результат:
{
«object»: «fine-tune»,
«id»: «ft-puPlI5XhwrzD0lvW0YfMH6Op»,
«hyperparams»: {
«n_epochs»: 4,
«batch_size»: 1,
«prompt_loss_weight»: 0.1,
«learning_rate_multiplier»: 0.1
},
«organization_id»: «org-Ygwg5D3pYmJxnsfIU6OUTd8D»,
«model»: «davinci»,
«training_files»: [
{
«object»: «file»,
«id»: «file-GnQokZYstWYTzjg0IOlmrKcG»,
«purpose»: «fine-tune»,
«filename»: «paragraphs.jsonl»,
«bytes»: 41901,
«created_at»: 1658510960,
«status»: «processed»,
«status_details»: null
}
],
«validation_files»: [],
«result_files»: [],
«created_at»: 1658511065,
«updated_at»: 1658511070,
«status»: «pending»,
«fine_tuned_model»: null,
«events»: [
{
«object»: «fine-tune-event»,
«level»: «info»,
«message»: «Created fine-tune: ft-puPlI5XhwrzD0lvW0YfMH6Op»,
«created_at»: 1658511065
},
{
«object»: «fine-tune-event»,
«level»: «info»,
«message»: «Fine-tune costs $1.05»,
«created_at»: 1658511069
},
{
«object»: «fine-tune-event»,
«level»: «info»,
«message»: «Fine-tune enqueued. Queue number: 3»,
«created_at»: 1658511070
}
]
}
Таким же должен быть и ваш. Что это означает? Да, вы правильно подумали! Наш файл дорабатывается и почти готов!
Я не стал добавлять изображение, так как ответ слишком длинный, чтобы его можно было увидеть. Желаемый доработанный файл будет
доступен для нас в «Playground» OpenAI. Это займет некоторое время. Волноваться не стоит…
