Snáď hlavným nedostatkom každému Huffmanovho kódovania techniky je ich zlý výkon, keď spracovanie textov, kde jeden symbol má pravdepodobnosť výskytu blíži jednoty.

Hoci Entropia spojené s takéto symboly je extrémne nízka, každý symbol musí byť stále kódované ako diskrétne hodnoty. Aritmetické kódovanie odstráni toto obmedzenie predstavujúci správy ako intervaloch reálnych čísel medzi 0 a 1. Spočiatku, rozsah hodnôt pre kódovanie textu je celého intervalu (0, 1). Ako kódovanie výťažok, tento rozsah zužuje, zatiaľ čo počet bitov vyžadované zastupovať ju rozširuje. Často sa vyskytujúcich znakov znížiť rozsah menej ako znaky vyskytujú zriedka, a tak pridať menej bitov dĺžky kódované správy.