구글 리서치가 지난 24일(현지시각) 블로그를 통해 문맥 손실 없이 메모리 사용량을 최소 6배 이상 줄이는 양자화 알고리즘 ‘터보퀀트(TurboQuant)’를 발표했다. LLM(대규모언어모델)은 나누는 대화량이 많아질수록 정보를 처리하기 위한 메모리 사용량도 늘어나는 구조다. 이때 AI가 대화·추론 중 참고하는 임시 메모리인 KV 캐시를 극단적으로 압축해 메모리 사용량을 크게 줄이는 방식이다. 기존보다 더 낮은 비트수로 압축하면서도 성능(정확도) 저하를 최소화하고, 별도 재학습 없이 다양한 모델에 적용 가능할 것으로 알려졌다.
 |
| 코스피가 전장보다 181.75p(3.22%) 내린 5,460.46으로 마감한 26일 오후 서울 중구 하나은행 딜링룸에서 딜러들이 업무를 보고 있다. 연합뉴스 |
메모리 관련 신기술이 나오면서 국내외 반도체 기업 주가가 일제히 약세를 보였다. 삼성전자와 SK하이닉스가 각각 4.71%와 6.23% 급락했다. 전날 뉴욕 증시에서도 마이크론(-3.40%), 샌디스크(-3.50%), 웨스턴디지털(-1.63%) 등이 동반 하락했다.
)
