Част от екипа на Mozilla заедно с Джъстин Туни(Justine Tunney) публикуваха llamafile. llamafile е може би най-лесния за момента начин да стартирате на вашия компютър ChatGPT подобен сайт.

llamafile представлява файл в който са комбинирани големите гигабайтови модели заедно с програмите необходими за използването на тези файлове. Това става възможно благодарение на комбинацията на два невероятни проекта с отворен код. Става дума за проекта llama.cpp на българина Георги Герганов и проекта Cosmopolitan Libc на Джъстин Тъни.

За да пробвате проекта на вашия лаптоп или сървър е нужно да изпълните следните стъпки:

1. Свалете 4.26GB файл llamafile-server-0.1-llava-v1.5-7b-q4:

curl -LO https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llamafile-server-0.1-llava-v1.5-7b-q4

2. Направете файла изпълним:

chmod 755 llamafile-server-0.1-llava-v1.5-7b-q4

3. Стартирайте локален уеб сървър

./llamafile-server-0.1-llava-v1.5-7b-q4

4. Отворете следния адрес http://127.0.0.1:8080/ във вашия браузър за да започнете тестове.