Руководство по сборке локального AI-стека. Часть 2. Запуск llama-cpp
Источник: Хабр
На этом шаге мы соберём llama.cpp , скачаем компактную модель для теста, разберёмся с ключевыми опциями ( mmap , лимиты памяти, mmproj ) и запустим сервер. После этого у вас будет работающий чат по адресу http://127.0.0.1:8080 — с родным веб-интерфейсом llama.cpp (пока без Open WebUI). Читать далее
Читать полностью на сайте «Хабр» →Материал опубликован на сайте источника. На «Единый портал вестей» размещены только заголовок и краткий анонс; права на текст и изображения принадлежат Хабр.
Ещё в рубрике «Технологии»
Мировой рекорд: Китай разогнал интернет до 3,2 петабита в секунду
В масштабном проекте приняли участие специалисты Государственной ключевой лаборатории оптических технологий связи, Пэнчэнской лаборатории и компании Fiberhome Fujikura. Исследователи успешно провели сквозной тест с использованием 24-жильного оптоволоконного кабеля и коммерческого сетевого…
Хайтек
Как мы оценивали соответствие предсказаний LLM нормам профессиональных кодексов
Ответ большой языковой модели в составе ИИ-ассистента на рабочую просьбу может противоречить профессиональному кодексу пользователя. Ассистент способен предупредить об этическом конфликте и всё же подготовить запрошенный текст. В исследовании TenetBench мы разработали способ получать такие задачи…
Хабр
Сказ от Anthropic о том, как рой ИИ-агентов может превратиться в сборище бюрократов
В статье Building agents: When to fold subagents into your main agent loop , опубликованной 22 октября 2026 года, Diane Sarkis из Anthropic описала случаи, в которых замера множества ИИ-агентов на одного агента с навыками и инструментами приводила к значительному повышению качества работы, снижению…
Хабр
PHP взломан, всё потеряно!?
Внимание! Обнаружены две критические уязвимости удаленного выполнения кода (RCE) в PHP, отслеживаемых как CVE-2026-109618 и CVE-2026-109619 , публично раскрытых 21 октября 2026 года . Эти уязвимости позволяют злоумышленнику выполнять произвольный код на серверах, работающих под управлением PHP, что…
Хабр
Овеществление маркетинга: инструмент, а не панацея
Недавно посмотрел выступление Павла Анненкова , владельца издательства «Редколлегия», на тему "Маркетинг будущего - маркетинг из прошлого". Его тезис: в эпоху ИИ, когда контент почти ничего не стоит, физические объекты (книги, журналы, мерч) становятся премиальным медиа, позволяют быстро пройти…
Хабр
Ищем нишу для продукта с нейросетями на примере Excalidraw
Компания NEOMSA представила практический подход к управлению доступом ИИ-агентов к внутренним API через протокол MCP. В центре внимания — выдача и отзыв полномочий, ограничение операций и данных, а также восстановление цепочки действий при расследовании инцидентов. Сценарии с ИИ-агентами переводят…
Хабр