ファイルパスを指定して関数を実行する

Pythonにおける効率的なファイル読み込み

このTipsでは、Pythonで大きなファイルを効率的に読み込むための方法を紹介します。メモリ効率を考慮した読み込み方法を学ぶことで、処理速度の向上とメモリ不足によるエラーを回避できます。

Pythonでの大規模ファイルの効率的な処理

Pythonで巨大なテキストファイルを読み込む際に、readlines()を使うと一度に全ての行をメモリに読み込んでしまい、メモリ不足になる可能性があります。そこで、open()関数のwith構文とイテレータを利用することで、行単位でファイルを読み込むことが可能です。これにより、メモリ使用量を大幅に削減できます。

def process_large_file(filepath):
    with open(filepath, 'r', encoding='utf-8') as f: # エンコーディングを指定することを忘れないようにしましょう
        for line in f:
            # 1行ずつ処理する
            processed_line = line.strip().upper()  # 例：行末の空白を削除し、大文字に変換
            print(processed_line)

# ファイルパスを指定して関数を実行する
process_large_file("large_file.txt")

注意点：encoding引数はファイルの文字コードに合わせて適切に設定してください。UTF-8が一般的ですが、ファイルによってはShift-JISなど異なるエンコーディングが使用されている場合があります。 処理内容に応じて、line.strip()などの前処理が必要になる場合があります。 極端に大きなファイルの場合は、より高度なライブラリ（例えば、daskやvaex）の使用も検討しましょう。