[Deep-Dive] 터보퀀트의 3가지 '핵심 치트키'
단순히 "압축했다"는 말로는 부족하죠. 구글과 KAIST 연구진이 설계한 터보퀀트의 진짜 무기는 이 세 가지입니다.
1. 폴라퀀트(PolarQuant): "데이터의 결을 맞추다" 데이터가 여기저기 삐죽삐죽 튀어나와 있으면 압축하기 어렵습니다. 터보퀀트는 '무작위 회전(Random Rotation)' 기술을 써서 데이터 분포를 동글동글하고 균일하게 만듭니다.
💡 비유: 모양이 제각각인 과일들을 한 번 흔들어서 박스 빈틈없이 꽉 채워 넣는 사전 작업이라고 보시면 됩니다.
2. QJL (오차의 1비트화): "버려지는 오차까지 잡다" 데이터를 3비트로 확 줄이면 미세한 오차가 생기기 마련입니다. 보통은 이걸 버리지만, 터보퀀트는 이 오차들만 따로 모아 +1 또는 -1(1비트)로 아주 가볍게 표현해 버립니다.
💡 비유: 큰 돈(핵심 데이터)만 챙기는 게 아니라, 떨어지는 동전(오차)까지 자석으로 싹 긁어모아 정확도를 100%로 유지하는 비결입니다.
3. 재학습 Zero: "플러그 앤 플레이" 가장 무서운 점은 이 기술을 쓰기 위해 AI 모델을 처음부터 다시 가르칠(Retraining) 필요가 없다는 것입니다. 이미 돌아가고 있는 챗GPT 같은 모델에 소프트웨어만 '슥' 끼워 넣으면 바로 메모리가 6배로 늘어나는 마법이 일어납니다. |