The language tax on AI
Author: Bharath Vadhoola | Source: LinkedIn Pulse | Published: 2026-07-06
한 줄 요약
토크나이저가 영어 데이터 위주로 학습된 탓에 비영어 사용자는 같은 의미의 텍스트에 몇 배의 토큰을 지불하며, attention이 시퀀스 길이에 제곱으로 비례하므로 이 격차는 비용에서 더 크게 증폭된다.
핵심 주장/내용
- 모든 것이 토큰으로 표시된다: 비용도 토큰당, 컨텍스트 윈도우도 토큰, 속도도 처리할 토큰 수의 함수. 같은 내용에 3배 토큰이 나오면 3배 비싸고, 컨텍스트를 3배 빨리 소진하고, 같은 결과를 더 오래 기다린다
- fertility(단어당 평균 토큰 수) 가 핵심 지표. 영어는 주요 모델 전반에서 약 1.2. 토크나이저가 덜 본 언어는 텍스트를 더 잘게 쪼갠다 — 타밀어 단어 하나가 3토큰이 되는 식
- 제곱 증폭: attention은 모든 토큰을 다른 모든 토큰과의 관계로 고려하므로 계산 비용이 시퀀스 길이에 선형이 아니라 제곱으로 스케일. fertility 3배 언어는 3배가 아니라 약 9배, 5배 언어는 약 25배의 비용에 직면
- 이중 불이익: 텔루구어 사용자는 API 가격 기준 영어 대비 실질 5배를 내면서 동시에 더 낮은 품질의 출력을 받는다(그 언어 학습 데이터가 적으므로)
- 불이익이 집중된 지역: 남아시아, 동남아시아, 사하라 이남 아프리카 — 평균 소득이 낮아 비용 차이가 불편이 아니라 진짜 접근 장벽이 되는 곳
- AI Affordability Index = 1인당 GDP / 단어당 토큰 수. 같은 언어라도 싱가포르의 타밀어는 26,000, 인도의 타밀어는 1,000. 토큰 프리미엄은 상수지만 그것을 흡수할 능력은 아니다
- 진보와 형평은 다른 것: 개선은 실재하지만 격차는 남는다. Manipuri는 GPT-4→GPT-4o에서 감소율 0%
- 정책 문제인 이유: 델리·나이로비·런던의 정부가 AI 공공 서비스를 배포할 때 “어떤 시민이 자기가 쓰는 언어 때문에 구조적으로 더 나쁜 서비스를 받는가”, “비용은 토크나이저를 설계한 벤더가 지는가 조달한 정부가 지는가”의 문제가 된다. 벤더 문제가 아니라 설계 문제이고, 설계 문제에는 설계 해법이 있다 — 우선순위를 둘 때에 한해서
주요 수치 / 사실
- Petrov et al. (NeurIPS 2023): 17개 토크나이저에서 동일 의미 콘텐츠에 대해 언어 간 최대 15배 차이
- 힌디어 ~2.5배(구형 모델은 ~6.4배), 아랍어 ~2.2배, 타밀어 ~2.5–3.8배, 태국어는 공백이 없어 비라틴 문자 중 최악급, 미얀마 문자는 문장 단위 7배(문장당 357토큰 vs 라틴 50토큰)
- 극단에서는 토크나이저가 그 언어를 사실상 모르고 바이트 단위로 인코딩. Shan은 subword 페널티가 겹치기 전에 이미 3.94배 바이트 프리미엄
- GPT-4o는 vocabulary를 20만 토큰으로 두 배 늘리고 비영어 데이터 추정 39% 학습(GPT-3.5는 3.2%) → 일부 인도 언어 토큰 수 60–80% 감소, 키릴 커버리지 10배 증가
- 아프리카 2,000+ 언어 중 의미 있는 LLM 지원이 있는 건 42개
- 우회 연구: Byte Latent Transformer(Meta), MAGNET 등 토크나이제이션 문제를 완전히 우회하는 접근 — 다만 아직 수십억 명이 쓰는 배포 시스템엔 도달하지 않음
관련 위키
Source: 원문 보기