Por qué en la cuantización de 4 bits con Python las actualizaciones pequeñas acaban siempre en cero
Útil para
El autor parte de un trabajo de arXiv (Echo) sobre comunicación de 4 bits con compensación de error y reproduce la idea con Python 3.14 y solo la biblioteca estándar. Con un paso de 0,1 y redondeo en cada envío, diez actualizaciones de 0,02 suman cero en el receptor. Al guardar el residuo y sumarlo en la siguiente ronda, el total recuperado es 0,2. El experimento no prueba el algoritmo Echo ni mide velocidad o precisión en GPU.
Qué significa
Para quien diseña compresión de baja precisión, el ejemplo muestra que redondear cada actualización por separado puede hacer desaparecer cambios pequeños. Diez pasos de 0,02 quedan en cero en el receptor.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- 生成AIタグが付けられた新着記事 - QiitaLeer la noticia completa en 生成AIタグが付けられた新着記事 - Qiita