от RED на 30-11-2023@10:10 GMT(+2)
 llamafile - лесен начин да пробвате големи езикови модели (Large-Language-Model (LLM)) директно на вашия компютър.
Част от екипа на Mozilla заедно с Джъстин Туни(Justine Tunney) публикуваха llamafile. llamafile е може би най-лесния за момента начин да стартирате на вашия компютър ChatGPT подобен сайт.
llamafile представлява файл в който са комбинирани големите гигабайтови модели заедно с програмите необходими за използването на тези файлове. Това става възможно благодарение на комбинацията на два невероятни проекта с отворен код. Става дума за проекта llama.cpp на българина Георги Герганов и проекта Cosmopolitan Libc на Джъстин Тъни.
За да пробвате проекта на вашия лаптоп или сървър е нужно да изпълните следните стъпки:
1. Свалете 4.26GB файл llamafile-server-0.1-llava-v1.5-7b-q4:
curl -LO https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llamafile-server-0.1-llava-v1.5-7b-q4
2. Направете файла изпълним:
chmod 755 llamafile-server-0.1-llava-v1.5-7b-q4
3. Стартирайте локален уеб сървър
./llamafile-server-0.1-llava-v1.5-7b-q4
4. Отворете следния адрес http://127.0.0.1:8080/ във вашия браузър за да започнете тестове.
Подробностите от кратката новина и официалния сайт на проекта.
[Коментари: 0] |
