AWS Labs otwiera kod HOPE, metody przycinania drugiego rzędu dla modeli MoE

AWS Labs opublikowało HOPE, otwartoźródłową metodę przycinania modeli mixture-of-experts, która uwzględnia interakcje między ekspertami i przewyższa dotychczasową najlepszą metodę, REAP, w testach agentowego programowania.

AWS Labs, część Amazona, opublikowało HOPE (Higher-Order Pruning of Experts) na blogu Hugging Face 9 listopada 2026 roku, prezentując otwartoźródłową metodę przycinania modeli typu mixture-of-experts, która uwzględnia interakcje między ekspertami. Szczegóły można znaleźć we wpisie na blogu Hugging Face ogłaszającym HOPE.

Konkretne zmiany

Kod jest opublikowany na GitHubie jako awslabs/HOPE, a metoda została opisana w artykule na arXiv (2609.18916).
Przy przycinaniu na poziomie 50% HOPE osiągnęło średnią pozycję 1.58, wobec 2.42 dla najlepszej dotychczasowej metody, REAP.
HOPE zapewniło zyski do 6.1% w zadaniach agentowego programowania w porównaniu do najlepszej dotychczasowej metody przycinania.
W benchmarku SWE-Bench Pro model Qwen3.5-35B przycięty o 50% metodą HOPE uzyskał wynik 42.3, wobec 41.8 dla nieprzyciętego modelu bazowego i 36.2 dla REAP.
HOPE testowano na modelach Qwen3.5-122B, Qwen3.5-35B i GLM-4.5-Air (106B parametrów), zajmując pierwsze miejsce w 39% testowanych warunków i jedno z dwóch pierwszych miejsc w 67%.
Przewaga HOPE nad innymi metodami przycinania była największa przy poziomach przycinania 40-50%.

Co to znaczy dla osób budujących z AI

Zespoły, które samodzielnie hostują duże modele mixture-of-experts o otwartych wagach do agentów programistycznych, mogą dzięki HOPE zmniejszyć te modele nawet o połowę, tracąc przy tym mniej jakości niż przy dotychczasowych metodach przycinania, takich jak REAP. To zmniejsza koszt uruchamiania wydajnych agentowych modeli programistycznych bez potrzeby ponownego trenowania ich od zera.

Dostępność

Powstałe w ten sposób przycięte checkpointy są zgodne z biblioteką Hugging Face transformers, a kod i artykuł opisujący HOPE są udostępnione publicznie razem z wpisem na blogu, dzięki czemu zespoły mogą zastosować tę metodę do własnych modeli mixture-of-experts.

Źródła

Your Experts Have Partners. There's HOPE for Keeping Them Together (Hugging Face / Amazon, 9 listopada 2026, oficjalne)

Tekst przygotowany z pomocą AI wyłącznie na podstawie źródeł wymienionych powyżej. Zanim trafił na stronę, przeszedł automatyczną kontrolę dat, źródeł i wszystkich wersji językowych.