Почему моя служба передачи данных BigQuery проходит, когда я пытаюсь одновременно синхронизировать многие таблицы MySQL?MySql

Форум по Mysql
Ответить
Anonymous
 Почему моя служба передачи данных BigQuery проходит, когда я пытаюсь одновременно синхронизировать многие таблицы MySQL?

Сообщение Anonymous »

У моей организации есть сервер MySQL, и мы хотим, чтобы он синхронизировался до BigQuery. Я пытаюсь использовать Службу передачи данных. синхронизировался за раз. В общей сложности существует 200 таблиц. Прогон не удается (см. Ошибки ниже), и ни одна из таблиц не появляется в наборе данных. Мой следующий подход был для создания одной конфигурации для каждой таблицы. Но тогда многие из них потерпят неудачу с одной и той же ошибкой, потому что все они работают одновременно, и только таблицы из успешных прогонов появляются в наборе данных. Это неэнергинично, что работает, и это удастся, а что будет успешным. Месяц: < /p>

Код: Выделить всё

Invalid datasource configuration provided when starting to transfer asset civicrm/civicrm_phone: INVALID_ARGUMENT: Failed to connect to MySQL instance. Please ensure provided instance details are correct.
< /code>
Когда я возвращаюсь к проблеме сейчас, я вижу другую ошибку (что заставляет меня думать, что GCP может активно работать над этим и изменять, какие ошибки регистрируются): < /p>
INVALID_ARGUMENT: Failed to connect to MySQL instance. Please ensure provided instance details are correct. | Cause: Communications link failure The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
Я действительно думал, что 200 таблиц в одно и то же время было бы проблематичным, поэтому одна из первых вещей, которые я попытался устранить устранение неполадок, было убедиться, что количество разрешенных соединений в MySQL было установлено достаточно высоко.

Код: Выделить всё

+-----------------+-------+
| Variable_name   | Value |
+-----------------+-------+
| max_connections | 151   |
+-----------------+-------+
1 row in set (0.00 sec)
Я попытался запустить Set Global max_connections = 500; , чтобы увеличить количество разрешенных подключений (и RAN показывать переменные, такие как 'max_connections'; , чтобы подтвердить, что это вступило в силу), но это не имело значения. Передаточный запуск по -прежнему сбой с той же ошибкой. Я вижу строки, которые выглядят следующими: < /p>

Код: Выделить всё

2025-09-30T04:23:25.900466Z 8247 [Warning] [MY-010057] [Server] IP address '34.130.129.237' has been resolved to the host name '237.129.130.34.bc.googleusercontent.com', which resembles IPv4-address itself.
Эти строки выглядят так, как будто они представляют Google подключение к моему серверу MySQL, который я ожидаю. Или может быть что -то, что я мог бы настроить на стороне BigQuery, чтобы он перевозил по одному столу за раз? Я проверил документы BigQuery API, но не нашел такого параметра, который я мог бы использовать, чтобы сделать его перенос по одной таблице за раз. Но я бы хотел использовать одну конфигурацию, если смогу.

Подробнее здесь: https://stackoverflow.com/questions/797 ... ync-many-m
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «MySql»