Aktualność · Google · 2 min czytania
Data wydarzenia: · Opublikowano:
Google dodaje trening z wielomilionowym kontekstem do MaxText na TPU
Google dodał do otwartoźródłowego frameworka MaxText wsparcie dla treningu z długim kontekstem, umożliwiając skalowanie sekwencji treningowych do 14 milionów tokenów na chipach Cloud TPU 5p i TPU 7.
Google ogłosił wsparcie dla treningu z długim kontekstem w MaxText, swoim otwartoźródłowym frameworku treningowym opartym na JAX, 9 listopada 2026 roku, umożliwiając skalowanie sekwencji treningowych do 14 milionów tokenów na chipach Cloud TPU 5p i TPU 7 (Ironwood), jak podano w poście Announcing Long-Context Training on TPUs with MaxText Context Parallelism na Google Developers Blog.
Co się zmienia
- MaxText, otwartoźródłowy framework treningowy JAX od Google, obsługuje teraz trening z długim kontekstem na Cloud TPU.
- Sekwencje treningowe skalują się płynnie do 14 milionów tokenów na chipach TPU 5p i TPU 7 (Ironwood).
- Obsługiwane są cztery strategie równoległości kontekstu: All-gather, A2A (DeepSpeed Ulysses), P2P (Ring Attention) oraz hybryda USP łącząca A2A i P2P.
- Kernel
Tokamax Splash Attentionzarządza obliczeniami i pamięcią uwagi bez materializowania całej sekwencji kluczy i wartości w HBM. - Llama 3.1 8B osiąga 70% wykorzystania FLOPS modelu (MFU) na TPU 5p dla sekwencji o długości do 4 milionów tokenów, a TPU 7 utrzymuje 50% MFU dla wszystkich skal sekwencji poniżej 6 milionów tokenów.
Co to znaczy dla twórców AI
Równoległość kontekstu dzieli długą sekwencję między chipy, dzięki czemu żaden pojedynczy chip nie musi przechowywać aktywacji dla całej sekwencji, co właśnie umożliwia trening na takich długościach. Dla zespołów trenujących od podstaw lub dostosowujących własne duże modele językowe oznacza to otwartoźródłową, natywną dla TPU ścieżkę do okien kontekstu liczących wiele milionów tokenów, znacznie wykraczających poza okna 1-2 milionów tokenów typowe dla dzisiejszych modeli produkcyjnych, bez konieczności budowania własnej infrastruktury do treningu z długim kontekstem.
Dostępność
- Funkcjonalność jest dostępna w
MaxText v0.2.4na PyPI. - Google udostępnia przykładowe receptury treningowe dla konfiguracji TPU 7 i TPU 5p.
Źródła
- Announcing Long-Context Training on TPUs with MaxText Context Parallelism (Google Developers Blog, 9 listopada 2026, oficjalne)
Tekst przygotowany z pomocą AI wyłącznie na podstawie źródeł wymienionych powyżej. Zanim trafił na stronę, przeszedł automatyczną kontrolę dat, źródeł i wszystkich wersji językowych.