Většina současných modelů pro generování obrázků počítá s provozem v datacentrech nebo na výkonných GPU. PrismML se vydalo opačným směrem. Nový Bonsai Image 4B je navržený tak, aby dokázal generovat obrázky přímo na telefonech a běžných počítačích bez připojení ke cloudovým službám. Hlavní myšlenkou je výrazně zmenšit model bez toho, aby se zásadně zhoršila kvalita výsledků.
Za projektem stojí americká společnost PrismML, která se dlouhodobě věnuje kompresi neuronových sítí pomocí extrémně nízké numerické přesnosti. Bonsai Image 4B navazuje na jejich předchozí práci s 1-bit jazykovými modely a stejný princip nyní používá i pro generování obrázků.
“The art of bonsai is to make something smaller without making it lesser.”
Model vychází z FLUX.2 Klein 4B. Největší část architektury byla převedena do binární nebo ternární reprezentace, kde váhy používají pouze hodnoty -1 a +1, případně -1, 0 a +1. Díky tomu se podařilo zmenšit diffusion transformer z přibližně 7,75 GB na 0,93 GB u binární varianty a 1,21 GB u ternární varianty. Menší část vrstev zůstává v FP16, aby byla zachována kvalita generovaných obrázků.
PrismML zveřejnilo benchmarky ukazující, že ternární varianta si zachovává přibližně 95 % výkonu původního modelu FLUX.2 Klein 4B. Binární verze dosahuje zhruba 88 %. Současně přinášejí výrazně nižší nároky na paměť a rychlejší inference na Apple Silicon zařízeních.
Praktickým výsledkem je možnost generovat obrázky lokálně. Firma uvádí vytvoření obrázku o rozlišení 512×512 za přibližně 9,4 sekundy na iPhonu 17 Pro Max a okolo 6 sekund na Macu M4 Pro. Model je dostupný pod licencí Apache 2.0 a kromě vah na Hugging Face vydala společnost také aplikaci Bonsai Studio pro iOS.
Zdroje:
- https://prismml.com/news/bonsai-image-4b
- https://huggingface.co/collections/prism-ml/bonsai-image
- https://huggingface.co/prism-ml/bonsai-image-ternary-4B-mlx-2bit
- https://huggingface.co/prism-ml/bonsai-image-ternary-4B-gemlite-2bit
- https://www.prnewswire.com/news-releases/prismml-releases-bonsai-image-4b-302782354.html
- https://github.com/PrismML-Eng/Bonsai-Image-Demo/blob/main/bonsai-image-4b-whitepaper.pdf
