MeanCache to framework optymalizacji pamięci podręcznej przeznaczony do przyspieszania wnioskowania w modelach Flow Matching, oparty na koncepcji uśredniania prędkości (average velocity) zamiast opierania się na niepewnych danych punktowych (instantaneous velocity). Technika ta redukuje błędy akumulacyjne w trajektoriach i poprawia stabilność obliczeń poprzez przechowywanie i ponowne wykorzystanie produktów Jacobian–vector (JVP) w określonych przedziałach czasowych. Jest stosowany w celu zwiększenia wydajności i obniżenia latencji w systemach AI wymagających wysokiej precyzji, takich jak wnioskowanie w modelach generatywnych.
Źródło: github.com
