Невозможно подключиться к SFTP из Amazon Managed Apache Airflow, но можно подключиться из локального

Невозможно подключиться к SFTP из Amazon Managed Apache Airflow, но можно подключиться из локального ⇐ Python

Ответить Пред. тема След. тема

1 сообщение • Страница 1 из 1

Anonymous

Невозможно подключиться к SFTP из Amazon Managed Apache Airflow, но можно подключиться из локального

Цитата

Сообщение Anonymous » 27 окт 2024, 19:40

Я пытаюсь подключиться от Amazon Managed Apache Airflow к SFTP-серверу, но возникает ошибка.

Код: Выделить всё

[2024-10-27, 16:22:12 UTC] {{transport.py:1909}} INFO - Connected (version 2.0, client OpenSSH_6.6.1p1)

Код: Выделить всё

[2024-10-27, 16:22:12 UTC] {{transport.py:1909}} INFO - Auth banner: b'Ubuntu 14.04.6 LTS\n'

Код: Выделить всё

[2024-10-27, 16:22:12 UTC] {{transport.py:1909}} INFO - Authentication (publickey) failed.

Однако тот же локальный скрипт Python может подключиться.
Я заметил, что paramiko неоднократно пытается подключиться к SFTP, даже если он терпит неудачу, когда я пытаюсь подключиться локально (журналы вставлены ниже), и в конечном итоге это удается. Однако, похоже, этого не происходит, когда я запускаю тот же код через воздушный поток AWS Managed Apache.
Это скрипт Python, который у меня есть. Раньше я работал с SFTP, но впервые работаю с интеграцией воздушного потока AWS Managed Apache с SFTP.
Буду очень благодарен за любую помощь.

Код: Выделить всё

import os
import paramiko
import logging
import pytz
import re
from io import StringIO
import pandas as pd
logging.basicConfig(level=logging.DEBUG)
from dotenv import load_dotenv

load_dotenv()

pdt_timezone = pytz.timezone('America/Los_Angeles')
# hostname = os.getenv("hostname1")
# username = os.getenv("username1")
# port = int(os.getenv("port1"))
# keyfilepath = os.getenv("keyfilepath1")
# passphrase = os.getenv("passphrase1")

class SFTPtoS3loader:
def __init__(self, hostname, username, port, passphrase=None, password=None, keyfilepath=None):
self.hostname = hostname
self.username = username
self.port = port
self.passphrase = passphrase
self.password = password
self.keyfilepath = '''-----BEGIN OPENSSH PRIVATE KEY-----     xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx     -----END OPENSSH PRIVATE KEY-----'''

def connect_to_sftp(self):
client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
key_file = re.sub(r' {5}', '\n', self.keyfilepath)
key_file = StringIO(key_file)
private_key = paramiko.RSAKey.from_private_key(key_file,
password=self.passphrase)
client.connect(hostname=self.hostname, username=self.username,
port=22,
passphrase=self.passphrase, pkey=private_key,
allow_agent=True,look_for_keys=True,
disabled_algorithms=dict(pubkeys=["rsa-sha2-512", "rsa-sha2-256"]))
sftp = client.open_sftp()
return sftp

def read_file_into_dataframe(self):
sftp = SFTPtoS3loader.connect_to_sftp(self)
file_list = sftp.listdir('from_dmd/aim_feed')
file_to_read = 'from_dmd/aim_feed/' + file_list[0]
with sftp.file(file_to_read, 'r') as remote_file:
file_content = remote_file.read().decode()  # Decode the file content to a string

# Use StringIO to read the file content into a DataFrame
file_buffer = StringIO(file_content)
df = pd.read_csv(file_buffer)
print(df.columns)
return df

if __name__ == '__main__':
# Instantiate the SFTPtoS3loader class with environment variables
loader = SFTPtoS3loader(
hostname=os.getenv('hostname1'),
username=os.getenv('username1'),
port=int(os.getenv('port1')),
passphrase=os.getenv('passphrase1'),
password=os.getenv('password1')
# keyfilepath=os.getenv('keyfilepath')
)

# Call the method to read files from SFTP
df = loader.read_file_into_dataframe()
print(df)

Это журналы успешного локального соединения SFTP.

Код: Выделить всё

DEBUG:paramiko.transport:client lang:

Код: Выделить всё

DEBUG:paramiko.transport:server lang:

Код: Выделить всё

DEBUG:paramiko.transport:kex follows: False

Код: Выделить всё

DEBUG:paramiko.transport:=== Key exchange agreements ===

Код: Выделить всё

DEBUG:paramiko.transport:Kex: [email protected]

Код: Выделить всё

DEBUG:paramiko.transport:HostKey: ssh-ed25519

Код: Выделить всё

DEBUG:paramiko.transport:Cipher: aes128-ctr

Код: Выделить всё

DEBUG:paramiko.transport:MAC: hmac-sha2-256

Код: Выделить всё

DEBUG:paramiko.transport:Compression: none

Код: Выделить всё

DEBUG:paramiko.transport:=== End of kex handshake ===

Код: Выделить всё

DEBUG:paramiko.transport:kex engine KexCurve25519 specified hash_algo

Код: Выделить всё

DEBUG:paramiko.transport:Switch to new keys ...

Код: Выделить всё

DEBUG:paramiko.transport:Adding ssh-ed25519 host key for data.dmdconnects.com: b'1a87b0ce12c36b78bf21a957d53c7ae7'

Код: Выделить всё

DEBUG:paramiko.transport:Trying SSH key b'9dd379b45d4ef4b28b234f3d6ea9d81c'

Код: Выделить всё

DEBUG:paramiko.transport:userauth is OK

Код: Выделить всё

DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'

Код: Выделить всё

DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa']

Код: Выделить всё

DEBUG:paramiko.transport:Server-side algorithm list:  ['']

Код: Выделить всё

DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm

Код: Выделить всё

DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'

Код: Выделить всё

DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa']

Код: Выделить всё

DEBUG:paramiko.transport:Server-side algorithm list: ['']

Код: Выделить всё

DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm

Код: Выделить всё

INFO:paramiko.transport:Auth banner: b'Ubuntu 14.04.6 LTS\n'

Код: Выделить всё

INFO:paramiko.transport:Authentication (publickey) failed.

Код: Выделить всё

DEBUG:paramiko.transport:Trying SSH agent key b'bcd6af1f62fde3407ecd79d38ecf1493'

Код: Выделить всё

DEBUG:paramiko.transport:userauth is OK

Код: Выделить всё

DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'

Код: Выделить всё

DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa']

Код: Выделить всё

DEBUG:paramiko.transport:Server-side algorithm list: ['']

Код: Выделить всё

DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm

Код: Выделить всё

DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'

Код: Выделить всё

DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa']

Код: Выделить всё

DEBUG:paramiko.transport:Server-side algorithm list: ['']

Код: Выделить всё

DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm

Код: Выделить всё

INFO:paramiko.transport:Authentication (publickey) failed.

Код: Выделить всё

DEBUG:paramiko.transport:Trying SSH agent key b'6d0c453545e3225099ca99064119b28a'

Код: Выделить всё

DEBUG:paramiko.transport:userauth is OK

Код: Выделить всё

DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'

Код: Выделить всё

DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa']

Код: Выделить всё

DEBUG:paramiko.transport:Server-side algorithm list: ['']

Код: Выделить всё

DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm

Код: Выделить всё

DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'

Код: Выделить всё

DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa']

Код: Выделить всё

DEBUG:paramiko.transport:Server-side algorithm list: ['']

Код: Выделить всё

DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm

Код: Выделить всё

INFO:paramiko.transport:Authentication (publickey) successful!

Код: Выделить всё

DEBUG:paramiko.transport:[chan 0] Max packet in: 32768 bytes

Код: Выделить всё

DEBUG:paramiko.transport:[chan 0] Max packet out: 32768 bytes

Код: Выделить всё

DEBUG:paramiko.transport:Secsh channel 0 opened.

Код: Выделить всё

DEBUG:paramiko.transport:[chan 0] Sesch channel 0 request ok

Код: Выделить всё

INFO:paramiko.transport.sftp:[chan 0] Opened sftp connection (server version 3)

PS: При установке возникает та же проблема

Код: Выделить всё

apache-airflow-providers-sftp

и попробуйте подключиться через вкладку «Соединения» в Apache Airflow.

Подробнее здесь: https://stackoverflow.com/questions/791 ... to-connect

1730047253

Anonymous

Я пытаюсь подключиться от Amazon Managed Apache Airflow к SFTP-серверу, но возникает ошибка.
[code][2024-10-27, 16:22:12 UTC] {{transport.py:1909}} INFO - Connected (version 2.0, client OpenSSH_6.6.1p1) [/code]

[code][2024-10-27, 16:22:12 UTC] {{transport.py:1909}} INFO - Auth banner: b'Ubuntu 14.04.6 LTS\n' [/code]

[code][2024-10-27, 16:22:12 UTC] {{transport.py:1909}} INFO - Authentication (publickey) failed.[/code]
Однако тот же локальный скрипт Python может подключиться.
Я заметил, что paramiko неоднократно пытается подключиться к SFTP, даже если он терпит неудачу, когда я пытаюсь подключиться локально (журналы вставлены ниже), и в конечном итоге это удается. Однако, похоже, этого не происходит, когда я запускаю тот же код через воздушный поток AWS Managed Apache.
Это скрипт Python, который у меня есть.  Раньше я работал с SFTP, но впервые работаю с интеграцией воздушного потока AWS Managed Apache с SFTP.
Буду очень благодарен за любую помощь.
[code]import os
import paramiko
import logging
import pytz
import re
from io import StringIO
import pandas as pd
logging.basicConfig(level=logging.DEBUG)
from dotenv import load_dotenv

load_dotenv()

pdt_timezone = pytz.timezone('America/Los_Angeles')
# hostname = os.getenv("hostname1")
# username = os.getenv("username1")
# port = int(os.getenv("port1"))
# keyfilepath = os.getenv("keyfilepath1")
# passphrase = os.getenv("passphrase1")

class SFTPtoS3loader:
def __init__(self, hostname, username, port, passphrase=None, password=None, keyfilepath=None):
self.hostname = hostname
self.username = username
self.port = port
self.passphrase = passphrase
self.password = password
self.keyfilepath = '''-----BEGIN OPENSSH PRIVATE KEY-----     xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx     -----END OPENSSH PRIVATE KEY-----'''

def connect_to_sftp(self):
client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
key_file = re.sub(r' {5}', '\n', self.keyfilepath)
key_file = StringIO(key_file)
private_key = paramiko.RSAKey.from_private_key(key_file,
password=self.passphrase)
client.connect(hostname=self.hostname, username=self.username,
port=22,
passphrase=self.passphrase, pkey=private_key,
allow_agent=True,look_for_keys=True,
disabled_algorithms=dict(pubkeys=["rsa-sha2-512", "rsa-sha2-256"]))
sftp = client.open_sftp()
return sftp

def read_file_into_dataframe(self):
sftp = SFTPtoS3loader.connect_to_sftp(self)
file_list = sftp.listdir('from_dmd/aim_feed')
file_to_read = 'from_dmd/aim_feed/' + file_list[0]
with sftp.file(file_to_read, 'r') as remote_file:
file_content = remote_file.read().decode()  # Decode the file content to a string

# Use StringIO to read the file content into a DataFrame
file_buffer = StringIO(file_content)
df = pd.read_csv(file_buffer)
print(df.columns)
return df

if __name__ == '__main__':
# Instantiate the SFTPtoS3loader class with environment variables
loader = SFTPtoS3loader(
hostname=os.getenv('hostname1'),
username=os.getenv('username1'),
port=int(os.getenv('port1')),
passphrase=os.getenv('passphrase1'),
password=os.getenv('password1')
# keyfilepath=os.getenv('keyfilepath')
)

# Call the method to read files from SFTP
df = loader.read_file_into_dataframe()
print(df)

[/code]
Это журналы успешного локального соединения SFTP.
[code]DEBUG:paramiko.transport:client lang: [/code]
[code]DEBUG:paramiko.transport:server lang: [/code]
[code]DEBUG:paramiko.transport:kex follows: False[/code]
[code]DEBUG:paramiko.transport:=== Key exchange agreements ===[/code]
[code]DEBUG:paramiko.transport:Kex: [email protected][/code]
[code]DEBUG:paramiko.transport:HostKey: ssh-ed25519[/code]
[code]DEBUG:paramiko.transport:Cipher: aes128-ctr[/code]
[code]DEBUG:paramiko.transport:MAC: hmac-sha2-256[/code]
[code]DEBUG:paramiko.transport:Compression: none[/code]
[code]DEBUG:paramiko.transport:=== End of kex handshake ===[/code]
[code]DEBUG:paramiko.transport:kex engine KexCurve25519 specified hash_algo [/code]
[code]DEBUG:paramiko.transport:Switch to new keys ...[/code]
[code]DEBUG:paramiko.transport:Adding ssh-ed25519 host key for data.dmdconnects.com: b'1a87b0ce12c36b78bf21a957d53c7ae7'[/code]
[code]DEBUG:paramiko.transport:Trying SSH key b'9dd379b45d4ef4b28b234f3d6ea9d81c'[/code]
[code]DEBUG:paramiko.transport:userauth is OK[/code]
[code]DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'[/code]
[code]DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa'][/code]
[code]DEBUG:paramiko.transport:Server-side algorithm list:  [''][/code]
[code]DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm[/code]
[code]DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'[/code]
[code]DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa'][/code]
[code]DEBUG:paramiko.transport:Server-side algorithm list: [''][/code]
[code]DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm[/code]
[code]INFO:paramiko.transport:Auth banner: b'Ubuntu 14.04.6 LTS\n'[/code]
[code]INFO:paramiko.transport:Authentication (publickey) failed.[/code]
[code]DEBUG:paramiko.transport:Trying SSH agent key b'bcd6af1f62fde3407ecd79d38ecf1493'[/code]
[code]DEBUG:paramiko.transport:userauth is OK[/code]
[code]DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'[/code]
[code]DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa'][/code]
[code]DEBUG:paramiko.transport:Server-side algorithm list: [''][/code]
[code]DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm[/code]
[code]DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'[/code]
[code]DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa'][/code]
[code]DEBUG:paramiko.transport:Server-side algorithm list: [''][/code]
[code]DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm[/code]
[code]INFO:paramiko.transport:Authentication (publickey) failed.[/code]
[code]DEBUG:paramiko.transport:Trying SSH agent key b'6d0c453545e3225099ca99064119b28a'[/code]
[code]DEBUG:paramiko.transport:userauth is OK[/code]
[code]DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'[/code]
[code]DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa'][/code]
[code]DEBUG:paramiko.transport:Server-side algorithm list: [''][/code]
[code]DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm[/code]
[code]DEBUG:paramiko.transport:Finalizing pubkey algorithm for key of type 'ssh-rsa'[/code]
[code]DEBUG:paramiko.transport:Our pubkey algorithm list: ['ssh-rsa'][/code]
[code]DEBUG:paramiko.transport:Server-side algorithm list: [''][/code]
[code]DEBUG:paramiko.transport:Agreed upon 'ssh-rsa' pubkey algorithm[/code]
[code]INFO:paramiko.transport:Authentication (publickey) successful![/code]
[code]DEBUG:paramiko.transport:[chan 0] Max packet in: 32768 bytes[/code]
[code]DEBUG:paramiko.transport:[chan 0] Max packet out: 32768 bytes[/code]
[code]DEBUG:paramiko.transport:Secsh channel 0 opened.[/code]
[code]DEBUG:paramiko.transport:[chan 0] Sesch channel 0 request ok[/code]
[code]INFO:paramiko.transport.sftp:[chan 0] Opened sftp connection (server version 3)[/code]
PS: При установке возникает та же проблема
[code]apache-airflow-providers-sftp
[/code]
и попробуйте подключиться через вкладку «Соединения» в Apache Airflow. 

Подробнее здесь: [url]https://stackoverflow.com/questions/79131042/unable-to-connect-to-sftp-from-amazon-managed-apache-airflow-but-able-to-connect[/url]

Ответить Пред. тема След. тема

1 сообщение • Страница 1 из 1

Быстрый ответ

Заголовок:

Имя пользователя:

Изменение регистра текста:

Смайлики

Ещё смайлики…

К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми. Можно прикреплять файлы, перетаскивая их в окно сообщения.

Максимально разрешённый размер вложения: 15 МБ.

Имя файла:

Комментарий к файлу:

Имя файла	Комментарий к файлу	Размер	Статус

Похожие темы

Ответы

Просмотры

Последнее сообщение

Невозможно подключиться к SFTP из Amazon Managed Apache Airflow, но можно подключиться из локального

Последнее сообщение Anonymous « 28 окт 2024, 10:08
Добавлено в форуме Python

Anonymous » 28 окт 2024, 10:08 » в форуме Python

Я пытаюсь подключиться от Amazon Managed Apache Airflow к SFTP-серверу, но возникает ошибка.
{{taskinstance.py:2480}} INFO - Exporting env vars: AIRFLOW_CTX_DAG_OWNER='airflow' AIRFLOW_CTX_DAG_ID='sftp_dag_with_hooks_connection'...

0 Ответы

10 Просмотры

Последнее сообщение Anonymous
28 окт 2024, 10:08
Невозможно подключиться к SFTP из Amazon Managed Apache Airflow, но можно подключиться из локального

Последнее сообщение Anonymous « 28 окт 2024, 10:21
Добавлено в форуме Python

Anonymous » 28 окт 2024, 10:21 » в форуме Python

Я пытаюсь подключиться от Amazon Managed Apache Airflow к SFTP-серверу, но возникает ошибка.
[ {{standard_task_runner.py:88}} INFO - Job 174: Subtask sftp_task
{{taskinstance.py:2480}} INFO - Exporting env vars: AIRFLOW_CTX_DAG_OWNER='airflow'...

0 Ответы

22 Просмотры

Последнее сообщение Anonymous
28 окт 2024, 10:21
Amazon Linux 2023 EC2 -USER SFTP не может подключиться на Filezilla, установленную в системе Linux - Помогите пожалуйста

Последнее сообщение Anonymous « 29 янв 2025, 19:56
Добавлено в форуме Linux

Anonymous » 29 янв 2025, 19:56 » в форуме Linux

Я пытаюсь подключить EC2-USER Amazon Linux 2023 к SFTP с ключом PEM в Filezilla в системе Linux. Это показывает ошибку - но если я изменю его на Amazon Linux 1 или 2, нет проблем - тот же пользователь EC2 может быть подключен через Filezilla на...

0 Ответы

31 Просмотры

Последнее сообщение Anonymous
29 янв 2025, 19:56
Amazon Linux 2023 EC2 -USER SFTP не может подключиться на Filezilla, установленную в системе Linux - Помогите, пожалуйст

Последнее сообщение Anonymous « 30 янв 2025, 05:14
Добавлено в форуме Linux

Anonymous » 30 янв 2025, 05:14 » в форуме Linux

Я пытаюсь подключить EC2-USER Amazon Linux 2023 к SFTP с ключом PEM в Filezilla в системе Linux. Это показывает ошибку:

Если я заведу его на Amazon Linux 1 или 2, нет проблем - тот же EC2 -пользователь может быть подключен через Filezilla на...

0 Ответы

18 Просмотры

Последнее сообщение Anonymous
30 янв 2025, 05:14
Когда статус задачи Airflow Neptune — «LOAD_IN_QUEUE», Airflow пытается повторить попытку.

Последнее сообщение Anonymous « 01 окт 2024, 14:27
Добавлено в форуме Python

Anonymous » 01 окт 2024, 14:27 » в форуме Python

Я работаю на мультитенантной платформе конвейера данных. Итак, на данный момент у нас около 5 арендаторов. В качестве инструмента оркестрации мы используем AWS MWAA
(Apache Airflow). Каждый арендатор имеет отдельный DAG и запускается...

0 Ответы

42 Просмотры

Последнее сообщение Anonymous
01 окт 2024, 14:27

Вернуться в «Python»