Межъядерное соединение Проверка в простых фрагментах ТПУ ⇐ Python

[Anonymous]

ICI (межъядерные соединения) обеспечивает очень быстрое соединение с TPU (которые подключены к различным хостам) и, таким образом, также увеличивает общий объем доступной памяти для вычислений TPU (я думаю!). Будет ли он уже инициирован запуском модуля TPU, или нам придется использовать такие инструменты, как Ray Cluster и т. д., чтобы получить ICI среди TPU?
Я попробовал срез v2-32, но не нашел способ проверить это явно, скажем, с помощью Джакса? другими словами, можем ли мы использовать сценарии Jax для проверки ICI в Pod/Slice?

Подробнее здесь: https://stackoverflow.com/questions/790 ... ces-of-tpu