Chat GPT 기록

requirements.txt의 패키지 버전 확인 및 업데이트하기

바틀비 2024. 2. 9. 04:45

결과물

import importlib.metadata

def update_requirements_txt(file_path):

    # Open file_path and read each lines
    with open(file_path, 'r') as file:
        lines = file.readlines()

    #List to store the results
    results = []

    # Flag tio check if all packages are installed. If not False.
    all_installed = True


    for line in lines:
        if '==' in line:
            package_name = line.split('==')[0]
        else:
            package_name = line.strip()
        
        try:
            # check version of each package
            version = importlib.metadata.version(package_name)
            results.append(f'{package_name}=={version}\n')
            print(f'{package_name}=={version}')
        except importlib.metadata.PackageNotFoundError:
            all_installed = False
            print(f'Not installed: {package_name}')
    
    if all_installed == True:
        with open(file_path, 'w') as file:
            file.writelines(results)
        print('Updated Succesfully')
    else:
        print('Some packages are not installed. Therefore results are not updated.')

update_requirements_txt('./requirements.txt')

목표

requirements.txt의 패키지들의 버전을 확인해주는 파이썬 코드 작성하기

문답 1

더보기

질문

같은 폴더의 안에 있는 requirements.txt의 라이브러리들의 버전을 확인해주는 파이썬 코드를 짜줘

대답

파이썬에서 requirements.txt 파일에 명시된 라이브러리들의 버전을 확인하려면, 파일을 읽고 각 라인별로 파싱하여 해당 라이브러리의 현재 설치된 버전을 조회할 수 있습니다. 이를 위해 pkg_resources 모듈을 사용할 수 있습니다. 이 모듈은 setuptools 패키지의 일부로, 설치된 패키지의 버전 정보를 얻는 데 사용할 수 있습니다.

아래 코드는 requirements.txt에 있는 각 라이브러리의 설치된 버전을 확인하고 출력합니다:

import pkg_resources

# requirements.txt 파일 열기
with open('requirements.txt', 'r') as f:
    # 각 라인(라이브러리)를 반복 처리
    for line in f:
        # 라인에서 패키지 이름 추출 (버전 정보 제거)
        package_name = line.split('==')[0] if '==' in line else line.strip()
        try:
            # 설치된 패키지의 버전을 가져옴
            version = pkg_resources.get_distribution(package_name).version
            print(f"{package_name}: {version}")
        except pkg_resources.DistributionNotFound:
            # 패키지가 설치되지 않았으면 예외 처리
            print(f"{package_name} is not installed.")

이 코드는 각 라인을 읽고, '==' 기호를 기준으로 패키지 이름과 버전을 분리합니다. 여기서는 버전 정보를 사용하지 않고, 단지 pkg_resources.get_distribution() 함수를 통해 해당 패키지의 설치된 버전을 조회합니다. 만약 패키지가 설치되어 있지 않다면 DistributionNotFound 예외가 발생하고, 이를 캐치하여 메시지를 출력합니다.

주의사항:

  • 이 코드는 requirements.txt 파일에 있는 각 라이브러리가 이미 시스템에 설치되어 있어야 정상 작동합니다. 만약 어떤 라이브러리가 설치되어 있지 않다면, 해당 라이브러리에 대해 "is not installed"라고 출력됩니다.
  • requirements.txt 파일에 버전 지정이 없는 경우(예: libraryName 대신 libraryName==x.x.x), 코드는 단순히 라이브러리 이름을 사용해 현재 설치된 버전을 조회합니다.

이 스크립트를 실행하기 전에 필요한 라이브러리들이 설치되어 있어야 합니다. pkg_resources는 setuptools에 포함되어 있으므로 별도 설치가 필요하지 않습니다.

문답 1의 결과 확인: fail

virtualenv를 사용할 경우 pkg_resources의 별도의 설치가 필요했기에 질문에 대한 대답으로 얻은 코드로는 실행할 수 없었다. 참고:  https://stackoverflow.com/questions/7446187/no-module-named-pkg-resources  

문답 2

더보기

질문

import pkg_resources

# requirements.txt 파일 열기
with open('requirements.txt', 'r') as f:
    # 각 라인(라이브러리)를 반복 처리
    for line in f:
        # 라인에서 패키지 이름 추출 (버전 정보 제거)
        package_name = line.split('==')[0] if '==' in line else line.strip()
        try:
            # 설치된 패키지의 버전을 가져옴
            version = pkg_resources.get_distribution(package_name).version
            print(f"{package_name}: {version}")
        except pkg_resources.DistributionNotFound:
            # 패키지가 설치되지 않았으면 예외 처리
            print(f"{package_name} is not installed.")

이 코드를 pkg_resources를 쓰지 않고 하는 방법이 없을까?

대답

네, pkg_resources 모듈을 사용하지 않고 설치된 패키지의 버전을 확인하는 한 가지 방법은 importlib.metadata 모듈을 사용하는 것입니다. Python 3.8 이상에서 사용할 수 있는 importlib.metadata는 패키지의 메타데이터를 읽는 기능을 제공합니다. 이를 통해 설치된 패키지의 버전 정보를 조회할 수 있습니다.

아래 코드는 importlib.metadata를 사용하여 requirements.txt 파일에 나열된 패키지들의 설치된 버전을 확인하고 출력하는 방법을 보여줍니다:

import importlib.metadata

# requirements.txt 파일 열기
with open('requirements.txt', 'r') as f:
    # 각 라인(라이브러리)를 반복 처리
    for line in f:
        # 라인에서 패키지 이름 추출 (버전 정보 제거)
        package_name = line.split('==')[0] if '==' in line else line.strip()
        try:
            # 설치된 패키지의 버전을 가져옴
            version = importlib.metadata.version(package_name)
            print(f"{package_name}: {version}")
        except importlib.metadata.PackageNotFoundError:
            # 패키지가 설치되지 않았으면 예외 처리
            print(f"{package_name} is not installed.")

이 방법은 Python 3.8 이상의 버전에서 작동하며, pkg_resources에 의존하지 않기 때문에 더 빠르고 현대적인 접근 방식을 제공합니다. importlib.metadata는 표준 라이브러리의 일부이기 때문에 별도의 설치 없이 사용할 수 있으며, 패키지 관련 정보를 더 효율적으로 관리할 수 있습니다.

importlib.metadata.version 함수는 지정된 패키지의 버전을 문자열로 반환합니다. 패키지가 설치되어 있지 않은 경우 PackageNotFoundError 예외를 발생시킵니다. 따라서 이 예외를 캐치하여 해당 패키지가 설치되지 않았음을 알릴 수 있습니다.

문답 2의 결과 확인: success

실제로 해당 코드로 원하는 결과를 얻을 수 있었다. importlib.metadata의 공식문서를 확인해보니 별도의 설치가 필요없는 패키지임도 확인할 수 있었다. 참고: https://docs.python.org/ko/3.10/library/importlib.metadata.html

코드와 print의 결과를 내가 원하는 형태로 바꿔 다음과 같은 결과를 얻을 수 있었다.

import importlib.metadata

# Open file_path and read each lines
with open('requirements.txt', 'r') as file:
    for line in file:
        if '==' in line:
            package_name = line.split('==')[0]
        else:
            package_name = line.strip()
        
        try:
            # check version of each package
            version = importlib.metadata.version(package_name)
            print(f'{package_name}=={version}')
        except importlib.metadata.PackageNotFoundError:
            print(f'Not installed: {package_name}')
$ python a.py
jupyterlab==4.1.0
requests==2.31.0
beautifulsoup4==4.12.3
selenium==4.17.2
Not installed: numpy
Not installed: pandas
(venv)

 

디벨롭

콘솔에서만 결과를 확인하는 것이 아니라 기존의 requirements.txt에 확인하느 버전 내용을 업데이트하는 기능을 넣고 싶다.

문답 3

더보기

질문

import importlib.metadata

# Open file_path and read each lines
with open('requirements.txt', 'r') as file:
    for line in file:
        if '==' in line:
            package_name = line.split('==')[0]
        else:
            package_name = line.strip()
        
        try:
            # check version of each package
            version = importlib.metadata.version(package_name)
            print(f'{package_name}=={version}')
        except importlib.metadata.PackageNotFoundError:
            print(f'Not installed: {package_name}')

 

만약 importlib.metadata.PackageNotFoundError 가 없으면 txt 파일로 결과물을 저장하는 함수를 만들어줘

 

대답

파이썬에서 importlib.metadata.PackageNotFoundError가 발생하지 않는 경우, 즉 모든 패키지가 설치되어 있어서 예외 처리가 필요 없을 때 결과를 txt 파일로 저장하는 함수를 만들 수 있습니다. 아래 예제 코드는 requirements.txt에서 패키지 이름을 읽고, 각 패키지의 설치된 버전을 확인한 다음, 이 정보를 installed_versions.txt라는 새 파일에 저장하는 방법을 보여줍니다:

import importlib.metadata

def save_installed_versions(requirements_path, output_path):
    with open(requirements_path, 'r') as file, open(output_path, 'w') as outfile:
        for line in file:
            # '=='가 있으면 버전 정보를 포함하고 있는 것으로 간주하고 패키지 이름만 추출
            if '==' in line:
                package_name = line.split('==')[0].strip()
            else:
                package_name = line.strip()
            
            try:
                version = importlib.metadata.version(package_name)
                outfile.write(f'{package_name}=={version}\n')
                print(f'{package_name}=={version}')
            except importlib.metadata.PackageNotFoundError:
                # 예외가 발생하지 않는다고 가정하므로, 이 부분은 단순히 결과 파일에 기록만 합니다.
                # 실제로는 패키지가 설치되지 않았을 때의 처리를 여기에 넣을 수 있습니다.
                outfile.write(f'Not installed: {package_name}\n')
                print(f'Not installed: {package_name}')

이 코드는 requirements.txt 파일을 읽고, 각 패키지에 대해 설치된 버전을 확인합니다. 그런 다음 이 정보를 installed_versions.txt 파일에 저장합니다. 만약 특정 패키지가 설치되지 않았다면, Not installed: 패키지명 형태로 파일에 기록합니다.

함수의 첫 번째 매개변수는 읽을 requirements.txt 파일의 경로이고, 두 번째 매개변수는 출력할 파일의 경로입니다. 이 함수는 특히 대규모 프로젝트나 다양한 환경에서 패키지 관리를 할 때 유용하게 사용할 수 있습니다.

문답 3_1: 내가 원하는 건 새로운 파일을 추가하는 것이 아니라 업데이트하는 기능이다.

더보기

질문

installed_versions.txt 로 새로 저장하지 않고 기존의 requirements.txt를 업데이트하는 방식은 어떻게 처리할까?

대답

기존의 requirements.txt 파일을 직접 업데이트하려면, 먼저 파일의 내용을 읽고 처리한 뒤, 같은 파일에 다시 쓰는 접근 방식을 사용해야 합니다. 하지만 파일을 동시에 읽고 쓰는 것은 가능하지 않으므로, 일반적으로는 다음과 같은 절차를 따릅니다:

  1. requirements.txt 파일에서 패키지 이름과 버전을 읽습니다.
  2. 설치된 패키지의 버전 정보를 확인합니다.
  3. 새로운 내용으로 requirements.txt 파일을 업데이트합니다.

이 과정에서 원본 파일의 내용을 메모리에 임시로 저장한 후, 업데이트된 내용으로 파일을 다시 쓰는 방식을 사용할 수 있습니다. 다음은 이 절차를 구현한 예시 코드입니다:

import importlib.metadata

def update_requirements_file(file_path):
    updated_lines = []  # 업데이트할 내용을 저장할 리스트
    
    with open(file_path, 'r') as file:
        for line in file:
            if '==' in line:
                package_name = line.split('==')[0].strip()
            else:
                package_name = line.strip()
            
            try:
                # 설치된 버전 확인
                version = importlib.metadata.version(package_name)
                updated_line = f'{package_name}=={version}\n'
            except importlib.metadata.PackageNotFoundError:
                # 패키지가 설치되지 않은 경우, 원본 라인을 유지
                updated_line = f'Not installed: {package_name}\n'
            
            updated_lines.append(updated_line)
    
    # 업데이트된 내용으로 파일을 다시 쓰기
    with open(file_path, 'w') as file:
        file.writelines(updated_lines)

# 함수 실행
update_requirements_file('requirements.txt')

이 코드는 requirements.txt 파일을 읽고, 각 패키지에 대한 설치된 버전을 확인한 다음, 이를 바탕으로 파일의 내용을 업데이트합니다. 설치되지 않은 패키지는 Not installed: 패키지명 형태로 표시됩니다.

중요한 점: 이 코드를 실행하면 requirements.txt의 원본 내용이 변경됩니다. 따라서 중요한 데이터를 다룰 때는 항상 원본 파일의 백업을 먼저 만들어두는 것이 좋습니다. 또한, 'Not installed'로 표시된 패키지는 실제로 requirements 파일에 그대로 남겨두고 싶지 않을 수 있으므로, 이 부분은 실제 사용 사례에 맞게 조정해야 할 수 있습니다

문답 3의 결과 확인: doubt

코드를 실행하기 전에 코드를 확인해본 결과 내가 원하는, True와 False 조건에 따라 결과를 출력과 출력을 안 하는 구조가 아닌 것 같다. 다시 질문을 한다.

이번에는 좀 더 구체적으로 질문했다.

문답 4

더보기

질문

import importlib.metadata

# Open file_path and read each lines
with open('requirements.txt', 'r') as file:
    for line in file:
        if '==' in line:
            package_name = line.split('==')[0]
        else:
            package_name = line.strip()
        
        try:
            # check version of each package
            version = importlib.metadata.version(package_name)
            print(f'{package_name}=={version}')
        except importlib.metadata.PackageNotFoundError:
            print(f'Not installed: {package_name}')

 

이 코드를 실행했을 때 importlib.metadata.PackageNotFoundError의 결과가 없으면 결과들을 txt 파일로 저장하는 함수를 추가해줘

대답

아래의 코드는 주어진 코드를 기반으로 하여, importlib.metadata.PackageNotFoundError 예외가 발생하지 않은 경우 (즉, 모든 패키지가 설치되어 있을 때) 결과를 results.txt 파일에 저장하는 함수를 추가합니다. 이 함수는 requirements.txt 파일을 읽고, 각 패키지에 대해 설치된 버전을 확인한 후, 설치된 모든 패키지와 그 버전을 results.txt 파일에 저장합니다.

import importlib.metadata

def save_versions_to_file(input_file, output_file):
    with open(input_file, 'r') as file:
        lines = file.readlines()

    # 결과를 저장할 리스트
    results = []

    # 패키지가 모두 설치되었는지 확인하는 플래그
    all_installed = True

    for line in lines:
        if '==' in line:
            package_name = line.split('==')[0]
        else:
            package_name = line.strip()
        
        try:
            version = importlib.metadata.version(package_name)
            results.append(f'{package_name}=={version}\n')
        except importlib.metadata.PackageNotFoundError:
            # 하나라도 설치되지 않은 패키지가 있으면 all_installed를 False로 설정
            all_installed = False
            print(f'Not installed: {package_name}')

    # 모든 패키지가 설치되었을 경우에만 결과를 파일에 쓴다
    if all_installed:
        with open(output_file, 'w') as out_file:
            out_file.writelines(results)
            print(f'Results saved to {output_file}')
    else:
        print('Some packages are not installed, results not saved.')

# 함수 실행 예시
input_file = 'requirements.txt'
output_file = 'results.txt'
save_versions_to_file(input_file, output_file)

이 함수는 다음 단계를 따릅니다:

  1. 입력 파일인 requirements.txt를 열고 각 줄을 읽습니다.
  2. 각 패키지에 대해 설치된 버전을 확인합니다.
  3. 모든 패키지가 설치되어 있으면, 각 패키지 이름과 설치된 버전 정보를 results.txt 파일에 저장합니다.
  4. 만약 하나라도 설치되지 않은 패키지가 있으면, 결과는 저장되지 않고 콘솔에 어떤 패키지가 설치되지 않았는지 출력합니다.

이 함수는 requirements.txt 파일의 모든 패키지가 시스템에 설치되어 있을 경우에만 결과를 파일로 저장합니다. 어떤 패키지라도 설치되지 않았다면, 그 정보를 출력하고 결과 파일은 생성되지 않습니다.

결과 1: 오류

문답 3의 update 함수와 문답 4의 함수를 활용해서 패키지들의 버전을 전부 확인해주고, 패키지가 전부 설치되면 requirements.txt를 "=="를 활용한 형태로 업데이트해주면서 전부 설치되지 않으면 설치되지 않았다고 알려주는 프로그램을 작성했다. 그러나 에러가 발생해서 고치는 방법을 물어보았다.

더보기

질문

import importlib.metadata

def update_requirements_txt(file_path):

    # Open file_path and read each lines
    with open(file_path, 'r') as file:
        lines = file.readlines()

    #List to store the results
    results = []

    # Flag tio check if all packages are installed. If not False.
    all_installed = True


    for lines in file:
        if '==' in lines:
            package_name = lines.split('==')[0]
        else:
            package_name = lines.strip()
        
        try:
            # check version of each package
            version = importlib.metadata.version(package_name)
            results.append(f'{package_name}=={version}\n')
            print(f'{package_name}=={version}')
        except importlib.metadata.PackageNotFoundError:
            all_installed = False
            print(f'Not installed: {package_name}')
    
    if all_installed == True:
        with open(file_path, 'w') as file:
            file.writelines(results)
    else:
        print('Some packages are not installed. Therefore results are not updated.')

update_requirements_txt('./requirements.txt')

여기서 ValueError: I/O operation on closed file. 에러가 발생했는데 어떻게 고칠 수 있을까?

대답

제시된 코드에서 ValueError: I/O operation on closed file. 오류가 발생하는 주된 이유는 파일을 읽은 후, 그 파일에 대한 더 이상의 연산을 시도하기 때문입니다. 특히, for lines in file: 부분에서 문제가 발생하는데, 이는 with open(file_path, 'r') as file: 블록 내에서 이미 파일의 내용을 lines = file.readlines()를 통해 읽고 나서, 파일에 대한 반복을 또 다시 시도하기 때문입니다. 실제로는 for line in lines:가 올바른 반복문이어야 합니다.

오류를 수정한 코드는 다음과 같습니다:

import importlib.metadata

def update_requirements_txt(file_path):
    # Open file_path and read each line
    with open(file_path, 'r') as file:
        lines = file.readlines()

    # List to store the results
    results = []

    # Flag to check if all packages are installed. If not, False.
    all_installed = True

    # Corrected: Iterate over 'lines' instead of trying to iterate over 'file' again
    for line in lines:
        if '==' in line:
            package_name = line.split('==')[0]
        else:
            package_name = line.strip()

        try:
            # Check version of each package
            version = importlib.metadata.version(package_name)
            results.append(f'{package_name}=={version}\n')
            print(f'{package_name}=={version}')
        except importlib.metadata.PackageNotFoundError:
            all_installed = False
            print(f'Not installed: {package_name}')

    # If all packages are installed, overwrite the file with updated versions
    if all_installed:
        with open(file_path, 'w') as file:
            file.writelines(results)
    else:
        print('Some packages are not installed. Therefore, results are not updated.')

update_requirements_txt('./requirements.txt')

주된 변경점:

  • 오류의 원인이었던 for lines in file:를 for line in lines:로 변경하여, 이미 읽어들인 lines 리스트를 순회하도록 수정했습니다. 이렇게 하면 파일을 다시 열거나 읽지 않고, 메모리에 저장된 내용을 기반으로 작업을 진행할 수 있습니다.
  • 나머지 코드는 기능상 변경되지 않았으며, 주석 및 변수 이름을 좀 더 명확하게 표현하기 위한 수정만 포함되었습니다.

이 수정을 통해 ValueError: I/O operation on closed file. 오류 없이 코드가 정상적으로 실행되어, 설치된 패키지들의 버전 정보로 requirements.txt 파일을 업데이트할 수 있습니다.

최종 결과

만족스러운 결과를 얻을 수 있었다.

저작자표시 비영리 변경금지

'Chat GPT 기록' 카테고리의 다른 글

ML modeling step by step  (0) 2024.02.29

'Chat GPT 기록'의 다른글

  • 현재글requirements.txt의 패키지 버전 확인 및 업데이트하기

관련글

티스토리툴바