Тренировку нейросетей для экстремальной классификации удалось ускорить на порядок

С ростом количества параметров до триллиона и выше, коммуникации грозят превратиться в серьёзную проблему распределённого глубокого обучения.