Apple Silicon üzerinde BitNet: Metal çalışıyor, CPU bozuk

Microsoft, GPU gerektirmeden CPU üzerinde çalışan 1.58-bit LLM'ler vaat ediyor. README şöyle diyor: "tek bir CPU'da 5–7 token/sn ile 100B parametre." Bunu gerçek donanımda test ettik: temel M2 / 16 GB, BitNet-b1.58-2B-4T ve Falcon3-7B-Instruct-1.58bit.

Sonuç: Metal ile — 2B modelde 12.13 t/s, tutarlı çıktı. -ngl 0 ekleyin (yalnızca CPU) — aynı model, aynı prompt — ve şunu alırsınız: "no/var receivedSED l mode74ll encouraged bre speaking removed brown flight." Verim 8.37 t/s ile makul görünüyor. Çıktıyı okumazsanız çalıştığını sanırsınız.

Metal ile Falcon3-7B-1.58bit: tutarlı çıktı, temiz instruction-following. Ancak 1.70 t/s — insanların okuma hızından yavaş. Bugün M2 üzerinde etkileşimli sohbet için uygun değil.

Ayrı bir sorun: bitnet.cpp'deki dönüştürücü BitNetForCausalLM mimarisini tanımıyor. setup_env.py hem 2B-4T hem de Falcon3 üzerinde NotImplementedError veriyor. Çalışan yol, HuggingFace'deki tamamlayıcı repolardan önceden derlenmiş GGUF dosyalarını indirmek.

Ana çıkarım: Apple Silicon üzerinde 1.58-bit'in değeri hız değil, RAM. 14 GB yerine 4 GB'ta bir 7B model. Bu, 7B'nin işletim sistemi ve uygulamalar için yer kalacak şekilde 16 GB unified memory'ye sığması demek. Yerel bir 13–30B BitNet checkpoint çıktığında, işte cihaz-üstü (on-device) için dönüm noktası budur.

Jippy'yi geliştiriyoruz — telefonunuzda yaşayan kişisel bir AI. Tüm edge-inference hikayesi, BitNet gibi kuantizasyon yollarının production-grade seviyeye ulaşmasına bağlı. BitNet henüz ARM CPU için hazır değil. Metal ile — şimdiden çalışıyor.

Sayılar ve tekrarlanabilirlik adımlarıyla birlikte tam yazı Substack'imizde.