Представлен программно‑аппаратный AI KV‑cache offloading от «Тантор Лабс» с управлением в платформе «Боцман»
«Тантор Лабс» и «Платформа Боцман» представили программно-аппаратную технологию хранения KV-cache нейросетей во внешнем NVMe-хранилище без использования DRAM. По данным разработчиков,