Spaces:
Runtime error
Runtime error
add cheker download_s3_folder
Browse files- .gitignore +1 -0
- main.py +7 -9
.gitignore
CHANGED
|
@@ -14,3 +14,4 @@ __pycache__/
|
|
| 14 |
# Ігноруємо папку Save_index
|
| 15 |
Save_index/
|
| 16 |
/lp/
|
|
|
|
|
|
| 14 |
# Ігноруємо папку Save_index
|
| 15 |
Save_index/
|
| 16 |
/lp/
|
| 17 |
+
/Save_Index_Local/
|
main.py
CHANGED
|
@@ -68,13 +68,6 @@ s3_client = boto3.client(
|
|
| 68 |
region_name="eu-north-1"
|
| 69 |
)
|
| 70 |
|
| 71 |
-
# # Ініціалізація клієнта S3
|
| 72 |
-
# s3_client = boto3.client(
|
| 73 |
-
# "s3",
|
| 74 |
-
# aws_access_key_id=os.getenv("AWS_ACCESS_KEY_ID"),
|
| 75 |
-
# aws_secret_access_key=os.getenv("AWS_SECRET_ACCESS_KEY"),
|
| 76 |
-
# region_name="eu-north-1"
|
| 77 |
-
# )
|
| 78 |
|
| 79 |
# Створюємо локальну директорію, якщо вона не існує
|
| 80 |
LOCAL_DIR.mkdir(parents=True, exist_ok=True)
|
|
@@ -100,8 +93,13 @@ def download_s3_folder(bucket_name, prefix, local_dir):
|
|
| 100 |
s3_client.download_file(bucket_name, s3_key, str(local_file_path))
|
| 101 |
print(f"Завантажено: {s3_key} -> {local_file_path}")
|
| 102 |
|
| 103 |
-
#
|
| 104 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 105 |
|
| 106 |
|
| 107 |
|
|
|
|
| 68 |
region_name="eu-north-1"
|
| 69 |
)
|
| 70 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 71 |
|
| 72 |
# Створюємо локальну директорію, якщо вона не існує
|
| 73 |
LOCAL_DIR.mkdir(parents=True, exist_ok=True)
|
|
|
|
| 93 |
s3_client.download_file(bucket_name, s3_key, str(local_file_path))
|
| 94 |
print(f"Завантажено: {s3_key} -> {local_file_path}")
|
| 95 |
|
| 96 |
+
# Перевіряємо, чи існує локальна директорія
|
| 97 |
+
if not LOCAL_DIR.exists():
|
| 98 |
+
print(f"Локальна директорія {LOCAL_DIR} відсутня. Починаємо завантаження...")
|
| 99 |
+
LOCAL_DIR.mkdir(parents=True, exist_ok=True) # Створення директорії
|
| 100 |
+
download_s3_folder(BUCKET_NAME, PREFIX_RETRIEVER, LOCAL_DIR)
|
| 101 |
+
else:
|
| 102 |
+
print(f"Локальна директорія {LOCAL_DIR} вже існує. Завантаження пропущено.")
|
| 103 |
|
| 104 |
|
| 105 |
|