share facebook facebook twitter menu hatena pocket slack

2017.12.19 TUE

Python スクリプトの標準出力をパイプでつなぐ時に気をつけたいこと

川原 洋平

WRITTEN BY 川原 洋平

これは

初老丸 Advent Calendar 2017 - Qiita
集え、初老丸達よ。初老丸達による世界に向けた技術的(又はそれに関連する)な物語を綴るカレンダーです。我こそ初老丸という方、初老丸予備軍の方も奮ってご参加下さい。ジーク・初老丸!

qiita.com

初老丸 Advent Calendar 2017 9 日目の記事になる予定です.

tl;dr

Python スクリプト内で以下のように Print() を利用して ‘foo’ を標準出力させつつ, tee コマンドを使ってファイルにも書き出した際に学んだことのメモ.

import time

while True:
    print('foo')
    time.sleep(3)

あれっ??

以下のように実行してファイルにも ‘foo’ を書き込みたかったんですが…

$ cat foo.py
import time

while True:
    print('foo')
    time.sleep(3)
    
$ python foo.py | tee -a foo.txt


... 何も出力されないし...

これは困った, 困った, こまどり姉妹。

Python のヘルプを見ると…

$ python --version
Python 2.7.13
$ python --help
usage: python [option] ... [-c cmd | -m mod | file | -] [arg] ...
Options and arguments (and corresponding environment variables):
-B     : don't write .py[co] files on import; also PYTHONDONTWRITEBYTECODE=x

... 略 ...

-u     : unbuffered binary stdout and stderr; also PYTHONUNBUFFERED=x
         see man page for details on internal buffering relating to '-u'

... 略 ...

PYTHONHASHSEED: if this variable is set to 'random', the effect is the same
   as specifying the -R option: a random value is used to seed the hashes of
   str, bytes and datetime objects.  It can also be set to an integer
   in the range [0,4294967295] to get hash values with a predictable seed.

ふむふむ…man してみると以下のように出力されました.

$ man python2.7
... 略 ...

       -u     Force  stdin,  stdout  and  stderr  to  be totally unbuffered.  On systems where it matters, also put stdin, stdout and stderr in binary mode.  Note that there is internal
              buffering in xreadlines(), readlines() and file-object iterators ("for line in sys.stdin") which is not influenced by this option.  To work around this, you will  want  to
              use "sys.stdin.readline()" inside a "while 1:" loop.

... 略 ...

-u オプションは stdin, stdout, stderr バッファリングさせない為に利用するオプションということが解りました. デフォルトで Python は標準出力が改行されるタイミングでバッファがフラッシュされ, パイプで別のプロセスで処理させる場合にはバッファリングするとのこと.(参考)

以下のように -u オプションを付与して実行するだけで, バッファリングが無効になり, 冒頭のスクリプトと tee コマンドを併用して標準出力とファイル出力を一緒に行うことが出来ました.

$ $ python -u foo.py | tee -a foo.log
foo
foo
foo

One more thing

-u オプションを付与する以外にも, sys モジュールの sys.stdout.flush() を利用してバッファをフラッシュすることで同様に出力を得ることが出来ました.

import time
import sys

while True:
    print('foo')
    sys.stdout.flush()
    time.sleep(3)

以下のように出力されました.

$ cat foo2.py
import time
import sys

while True:
    print('foo')
    sys.stdout.flush()
    time.sleep(3)

$ python foo2.py | tee -a foo2.log
foo
foo
foo
^CTraceback (most recent call last):
  File "foo2.py", line 7, in <module>
    time.sleep(3)
KeyboardInterrupt

$ cat foo2.log
foo
foo
foo

以上

メモでした.

元記事はこちら

Python スクリプトの標準出力をパイプでつなぐ時に気をつけたいこと

cloudpack

cloudpackは、Amazon EC2やAmazon S3をはじめとするAWSの各種プロダクトを利用する際の、導入・設計から運用保守を含んだフルマネージドのサービスを提供し、バックアップや24時間365日の監視/障害対応、技術的な問い合わせに対するサポートなどを行っております。
AWS上のインフラ構築およびAWSを活用したシステム開発など、案件のご相談はcloudpack.jpよりご連絡ください。