Post ATvEPZHpMY5ov0pP1M by kantor@mstdn.social
(DIR) More posts by kantor@mstdn.social
(DIR) Post #ATv5u7qWXItHCfYLvU by BPOH@mastodon.ml
2023-03-23T21:38:20Z
0 likes, 2 repeats
Люди продолжают ковырять случайно, или не сильно случайно слитую в торрент обученную #LLaMa нейросеть, аналог ChatGPT...Веб-интерфейс для общения с LLaMa через llama.cpp и alpaca.▫️Полностью докеризованный, с простым в использовании API. ▫️Интерфейс SvelteKit▫️MongoDB для хранения истории и параметров чатаВ настоящее время поддерживаются только модели 7B, 13B и 30B alpaca. Есть скрипт загрузки для их загрузки внутри контейнера.https://github.com/nsarrazin/sergeТам 4 строчки развёртывания этого контейнера на третьей строчке у меня такая хрень unknown shorthand flag: 'd' in -d докер ниразу не ставил да и гуглится плохо может подскажете? Ощущение такое что там файлов недосыпали на гит
(DIR) Post #ATvE532xWIOp8Y5ZFQ by kantor@mstdn.social
2023-03-23T22:37:48Z
0 likes, 0 repeats
@BPOH итак, зашевелилось. Таки жрёт 4,1 гиг оперативки постоянно с 7B моделью и работает достаточно медленно, сжирая 50% проца постоянно (i3-10100, тем не менее). Чуть подкрутил temperature, теперь он кажется мне гораздо веселее. Попробую заставить его написать код…
(DIR) Post #ATvE53reTowtflo3GK by BPOH@mastodon.ml
2023-03-23T22:41:29Z
0 likes, 0 repeats
@kantor у меня уже тоже качается, там что-то на пермишен ругался, от суперпользователя запускать плохая же идея?
(DIR) Post #ATvE54QOOejpPW3nPc by kantor@mstdn.social
2023-03-23T22:43:21Z
0 likes, 0 repeats
@BPOH не особо, докер рассчитан на использование от рута. Сами команды в принципе должны запускаться от юзера, если он рут просит, то своего юзера надо добавить в группу docker (вообще должен создаваться автоматически, но я не знаю как там на безсистемдшных системах) и тогда с юзера можно будет запускать команды. Контейнеры по умолчанию от рута, это, опять же, норма
(DIR) Post #ATvE54zqGr5vBSe6fQ by mo@mastodon.ml
2023-03-23T23:09:57Z
0 likes, 0 repeats
@kantor btw, с небольшими донастройками можно стартануть докер демона от имени юзера, aka rootlessХз повышает ли это безопасность, мне просто нравится что не надо вводить sudo :ageblobcat: @BPOH
(DIR) Post #ATvEPZHpMY5ov0pP1M by kantor@mstdn.social
2023-03-23T22:46:49Z
0 likes, 0 repeats
@BPOH Пока 7B не впечатляет
(DIR) Post #ATvEPZn1UZ2wTlQJe4 by BPOH@mastodon.ml
2023-03-23T22:50:33Z
0 likes, 0 repeats
@kantor ну подождём когда 4гпт сольют :D ну а так чатилку поковырять можно но и 7В это даже не 30В попробуй 30-ку запустить)
(DIR) Post #ATvEPaNtHUXMK6fl6u by kantor@mstdn.social
2023-03-23T22:52:54Z
0 likes, 0 repeats
@BPOH на 30 у меня оператоса нет. Как я понял, во время генерации вся модель выгружается в оперативку, т.е. если 7B занимает 4,1, то все эти 4,1 резко оказываются в оперативке. Сейчас качаю 13B, по идее он должен быть получше. В целом наблюдаю, что на гуманитарные вопросы он отвечает несколько охотнее. Надо ещё поиграться с параметрами, возможно, для 7B top-k в 50 это маловато
(DIR) Post #ATvEPb7yW9Osd2EYwS by BPOH@mastodon.ml
2023-03-23T22:57:52Z
0 likes, 0 repeats
@kantor 😂
(DIR) Post #ATvEPbjCHlAsUTeHxY by kantor@mstdn.social
2023-03-23T22:58:20Z
0 likes, 0 repeats
@BPOH о как. У меня пока такой диалог
(DIR) Post #ATvEPcNFspDWUiOHOi by BPOH@mastodon.ml
2023-03-23T23:01:22Z
0 likes, 0 repeats
@kantor Блин ну прикольно, на пару дней побаловаться, пока не выкатят какие нибудь ещё штуки для калькуляторов, считаю что то что мы можем на своих компах подобное запускать это уже чудо, а там пытливые умы в массах уже годноты напилят!
(DIR) Post #ATvEPcsnzWSE4Z9TZg by kantor@mstdn.social
2023-03-23T23:03:04Z
0 likes, 0 repeats
@BPOH как мне кажется, я поковыряю параметры и буду на более-менее постоянной основе пользоваться этой штукой. Мне не нужен сильно продвинутый функционал, иногда бывает нужно быстро спросить что-то, что очень плохо поддаётся гуглингу — тогда эти модели и выручают. То, что оно есть в свободном доступе это, конечно, успех — надо на досуге ещё почитать и попробовать завести на cuda — так всяко быстрее будет.
(DIR) Post #ATvEPdRtt2WjpPZVHE by mo@mastodon.ml
2023-03-23T23:13:38Z
0 likes, 0 repeats
@kantor если нужно _найти_ что-то, что ещё и не гуглится, спрашивать у языковой модели крайне плохая идея. Они обучены реалистично генерировать текст, без каких-либо гарантий или даже стремления к его корректности. Модель с покерфейсом выдаст тебе (крайне убедительно выглядящую!) чушь, и будешь потом разгребать последствия в том же гугле@BPOH
(DIR) Post #ATvEUUdK5hVrw0ENN2 by BPOH@mastodon.ml
2023-03-23T23:14:35Z
0 likes, 0 repeats
@mo @kantor да это не критично там всего раз и оно на локалхосте крутится... На постоянке он всёравно не нужен, хотя вроде засыпает и из ОЗУ выпрыгивает, но при запросу 4гб кушает
(DIR) Post #ATvEXzmMkQgTOt8A5o by kantor@mstdn.social
2023-03-23T23:15:12Z
0 likes, 0 repeats
@mo @BPOH а я знаю, мне нужно общее направление уловить, подцепить пару нужных кейвордов и дальше гуглить по возможности. А то есть вещи, по которым кейвордами являются очень распространённые слова и гугл не даёт релевантных ответов хоть тресни. Раньше на такое приходилось искать человека, а теперь уже не приходится, по большому счёту
(DIR) Post #ATvEf1MZG16yL8PiPg by mo@mastodon.ml
2023-03-23T23:16:27Z
0 likes, 0 repeats
@kantor к чатжпт это к слову тоже относится. Выглядит убедительно, слог красивый но — ахинея полнаяШанс получить не ахинею увеличивается в зависимости от того, насколько популярную и тривиальную вещь ты спрашиваешь. Но тривиальные вещи расписаны вдоль и поперек на первой странице гугла@BPOH
(DIR) Post #ATvEva3y0lSSaqbrVI by mo@mastodon.ml
2023-03-23T23:19:28Z
0 likes, 0 repeats
@kantor у Гугла можно задавать отрицательные кейворды, и отсеивать ими нерелевантный шлак@BPOH
(DIR) Post #ATvF91SZSh5pKNWm0G by kantor@mstdn.social
2023-03-23T23:21:53Z
0 likes, 0 repeats
@mo @BPOH а все равно не помогает. Навскидку не вспомню конкретных примеров, но, например, иногда нужно поискать что-то касательно софта, которое использует очень распространённое слово в названии. **проверяет историю поиска** а нагугли-ка мне, как открыть developer tools в element (который мессенджер matrix). Я вчера с этим мучился в районе двух часов и в итоге случайно наткнулся на ответ.
(DIR) Post #ATvFYAYUmXA8mDI1BI by mo@mastodon.ml
2023-03-23T23:26:26Z
0 likes, 0 repeats
@kantor Devtools, которые по команде в чат, или которые браузерные?Во втором случае надо искать не для элемента, а для электрона в целом@BPOH
(DIR) Post #ATvFbPI8RwVTLgBI5Q by kantor@mstdn.social
2023-03-23T23:27:01Z
0 likes, 0 repeats
@mo @BPOH по команде в чат, да только ты уже знаешь, так не интересно
(DIR) Post #ATw3RkV3jno1wCoYcK by dside@mastodon.ml
2023-03-24T08:45:33Z
0 likes, 0 repeats
@kirill не-не, GPT-4 тут ни при чём. Это 4-битное квантование GPTQ, просто более компактное кодирование весов модели, чтобы снизить требования по памяти.@BPOH
(DIR) Post #ATxDDpRWcYbr1mZiFc by BPOH@mastodon.ml
2023-03-24T10:45:22Z
0 likes, 0 repeats
@dside @kirill только что ролик канал пророботов выкатил что альпака это GPT4 короче стенфордский университет попросил gpt4 нагенерировать текстов для обучения своей нейронки лламы отдали за API к гпт4 600 баксов, та нагенерила 52к текстов для обучения, они скормили лламе и получилась альпака короче както так, красавчики хD к стати на гите выложили текстовку для обучения которую сгенерировала 4-я версия, так что если есть пара тесл видюх можешь обучить сам свою гпт4, хотя вроде нейронка ллама она фэйсбукская
(DIR) Post #ATxDDu6RINiJTpkRZw by dside@mastodon.ml
2023-03-24T10:52:44Z
0 likes, 0 repeats
@BPOH э-э-э, не. Одно то, что модель тренирована на большом объёме результатов другой модели, ещё не делает полученные модели одинаковыми.Типа, если я буду несколько лет только набирать тексты, а кто-то только их читать, да, информацию и опыт я передам, но читатель далеко не факт, что сможет делать всё то же, что и я %)@kirill
(DIR) Post #ATxDco54p22e2iz9oe by BPOH@mastodon.ml
2023-03-24T10:57:41Z
0 likes, 0 repeats
@dside @kirill слушай ну ты блин сравниваешь... у нейронки вся фишка в весах, она даже буквы не читает, а переделывает в свою какуюто последовательность математическую, вполне вероятно что-бы выставить веса как надо можно и на меньшем количестве этих рандомных точичек непонятных человеку понятных нейронке выставить, так что вполне реально от обученной сети получить генератор таких же весов... я правда в нейронках не шарю мои глупые домыслы, но то что нейронки могут архивировать и разархивировать по своим алгоритмам это факт
(DIR) Post #ATxOYsmEWFzkweVEhM by dettlaff@mastodon.ml
2023-03-25T00:16:52Z
0 likes, 0 repeats
@kirill @BPOH я пробовал 13B тупая как пробка, никакое сравнение с чатжпт
(DIR) Post #ATxOimVofNguPXXnM0 by dettlaff@mastodon.ml
2023-03-25T00:18:38Z
0 likes, 0 repeats
@kirill @BPOH
(DIR) Post #ATxP75tgFHDHTxIdH6 by BPOH@mastodon.ml
2023-03-23T23:32:15Z
0 likes, 0 repeats
@kantor @mo Сломалась улитка) но с саблайном он там не угадал вроде, про фотошоп хз
(DIR) Post #ATxP76k96DBG6fqX3I by kantor@mstdn.social
2023-03-23T23:33:04Z
0 likes, 0 repeats
@BPOH @mo а ещё он думает, что Муцураев был президентом Чечни
(DIR) Post #ATxP77u6mekBhrW0Dg by BPOH@mastodon.ml
2023-03-23T23:40:56Z
0 likes, 0 repeats
@kantor @mo слушай вот эту штуку запускал 13В только что, https://github.com/ggerganov/llama.cpp она точно также работает как и в докере, вэб версия? всего около 7гб озу съело, блин хочу 30ку потестить но боюсь 16 озу будет мало
(DIR) Post #ATxP78OaxJ89EPmLjs by kantor@mstdn.social
2023-03-23T23:43:27Z
0 likes, 0 repeats
@BPOH @mo да, более того, я посмотрел как оно под капотом и это буквально враппер над cpp, который скармливает его параметрами и получает stdout в вебморду, так что должно быть 1 в 1. Можешь, кстати, залезть в generator.py и поменять кол-во тредов процессора, я поднял до шести. А что по ОЗУ — там на cpp есть таблица того, что сколько весит (соотв., сколько выгружается в ОЗУ, т.к. моделька в оперативку идёт вся)
(DIR) Post #ATxP795qMVj1OY0t9M by BPOH@mastodon.ml
2023-03-24T01:30:24Z
0 likes, 0 repeats
@kantor 16B модель ест около 10гб короче от этой штуки актуальных новостей можно не ждать) опытным путём было понято что тренировали ее пяток лет назад, так что может её и спецом в сеть выкинули как не военная разработка) а так по курсу проверил ну да с 19 годом сходится...
(DIR) Post #ATxP79ZGb7GErnmO0m by dettlaff@mastodon.ml
2023-03-25T00:23:00Z
0 likes, 0 repeats
@BPOH @kantor не тренировали 5ок лет назад, а брали материал 5ти летней давности. потому что за последние 5 лет кучу мусора сгенерированного
(DIR) Post #ATxPL1r44SUj02ik9Q by dside@mastodon.ml
2023-03-24T13:09:09Z
0 likes, 0 repeats
@BPOH не вся фишка в весах. Веса это параметры алгоритма. Есть ещё и сам алгоритм.@kirill