量化量化方式

index+codebook ，可以使用k-means量化，计算开销还是浮点开销

• ICLR 2016 Deep compression
• CVPR 2016 quantized CNN

量化为2的幂次，乘法操作可以改成移位操作来实现，但是加法操作？

• ICLR 2017 INQ
  量化为bit平面，Xnor+popcount(最快)

• NIPS 2017 ABC

• AAAI 2017
• ICCV 2017 HORQ

量化为定点数(等距量化)，负数内积

• Fixed-Point Feedforward Deep Neural Network
• Dorefa-net
  • $sinh(x) = frac{e^x - e^{-x}}{2}$
  • $cosh(x) = frac{e^x + e^{-x}}{2}$
  • $tanh(x) = frac{sinh(x)}{cosh(x)}$