Python18 Prefect 파이썬과 Prefect를 이용한 배치 프로세스 자동화 Prefect를 사용하여 데이터 워크플로우를 자동화하고 관리하는 방법을 알아봅시다. Prefect란 무엇인가? Prefect는 파이썬으로 구축된 현대적인 워크플로우 오케스트레이션 플랫폼입니다. 데이터 워크플로우를 자동화하고, 조정하며, 모니터링하는 것을 목적으로 설계되었습니다. Prefect는 배치 프로세스를 스케줄링하고, 데이터 파이프라인이 원활하게 실행되도록 보장하며, 오류를 우아하게 처리하는 데 이상적입니다. 시나리오: 엑셀 데이터 처리 및 API 요청 이 시나리오에서는 엑셀 파일에서 데이터를 로드하고, API에 POST 요청을 하는 배치 프로세스를 자동화하는 방법을 Prefect를 사용하여 다루게 됩니다. 다음과 같은 단계를 포함합니다: 엑셀 .. 2023. 11. 8. Start Django project with Python DI manager poetry Poetry 설치 공식 문서 참고 Introduction | Documentation | Poetry - Python dependency management and packaging made easy Using alternative installation methods will make Poetry always use the Python version for which it has been installed to create virtualenvs. So, you will need to install Poetry for each Python version you want to use and switch between them. python-poetry.org 프로젝트 디렉터리 생성 mkdir goboard.. 2021. 8. 22. python data class """" 클래스를 정의 할때 __init__ 에서 속성을 정의 하게 된다. 해당 속성이 많아질수록 불편 할 수 있다. dataclass 를 사용하여 타입 힌드만 작성 하도록 함으로써 객체의 속성을 자동으로 생성 하도록 할 수 있다. """" from dataclasses import dataclass class Person_01: def __init__(self, name, age): self.name = name self.age = name # dataclass 를 활용 해보도록 한다. # 초기화 함수를 가진 클래스를 자동으로 만들어준다. @dataclass class Person_02: name: str age: int #init -> 초기화 함수 #repr -> 런타임환경에서 출력 #eq -> 객체.. 2020. 1. 19. Python application with Docker Image build and Run - create python app - (app.py) """ 샘플 app.py 에서는 아래 lib 가 필요 없으나, lib 설치 예시를 위해 작성 한것. """ import aiohttp import yaml from aiohttp import ClientSession from bs4 import BeautifulSoup import asyncio def hello(_str): print(_str) if __name__ == '__main__': hello("Hello! Docker") - created requirements.txt aiohttp==3.5.4 beautifulsoup4==4.7.1 PyYAML==5.1.1 - created Dockerfile - (DockerFile) # 파이썬 3... 2019. 7. 14. python file line read and set import pathlib file_name = "sample.txt" current_path = pathlib.Path(__file__).parent with open(current_path.joinpath(file_name)) as f: set_samples = set(map(str.strip, f)) #파일을 라인단위로 읽어 set 으로 만든다. 2019. 6. 15. pymongo usage python 에서 pymongo 연동 하는 방법 pip install pymongo from pymongo import MongoClient client = MongoClient(host='localhost', port=27107) db = client['my_test_db'] db.authenticate(username, password) test_collection = db['my_test_collection'] 컬렉션 조작 하기 2019. 6. 8. 이전 1 2 3 다음