Межъядерное соединение Проверка в простых фрагментах ТПУ ⇐ Python

[Anonymous]

ICI (межъядерные соединения) обеспечивает очень быстрое соединение с TPU (которые подключены к различным хостам) и, таким образом, также увеличивает общий доступный объем памяти для вычислений TPU (я думаю!). Будет ли он уже инициирован запуском модуля TPU, или нам придется использовать такие инструменты, как Ray Cluster и т. д., чтобы получить ICI среди TPU?
Я попробовал срез v2-32, но не нашел способ проверить это явно, скажем, с помощью Джакса? другими словами, можем ли мы использовать сценарии Jax для проверки ICI в Pod/Slice?

Подробнее здесь: https://stackoverflow.com/questions/790 ... ces-of-tpu