share facebook facebook twitter menu hatena pocket slack

2020.01.07 TUE

Amazon ECSのタスク定義で改行やタブを含むファイルを出力する方法

甲斐 甲

WRITTEN BY 甲斐 甲

数時間ほどハマってようやくたどり着いたのでメモ。

やりたいこと

Amazon ECSのタスクでコンテナ実行時に簡単なスクリプトファイルを作成して実行したかったのです。

hoge.py

print('hoge')
if False:
  print('no print')

みたいなPythonのファイルを作成して、python hoge.pyするっていう。
インデントが効くか確認するためにif False:とかしてます。

docker run コマンドだと

お手元の端末でdockerコマンドが利用できる前提で。

cat コマンドでファイル作成

catコマンドでヒアドキュメントを利用すると簡単にできます。
ヒアドキュメントについては下記が参考になります。

知ると便利なヒアドキュメント – Qiita
https://qiita.com/kite_999/items/e77fb521fc39454244e7

> docker run -it --rm --entrypoint="sh" \
  python:3.7 \
  -c "cat <<EOF > hoge.py
# hogeって出力
print('hoge')
if False:
  # インデントが効くか
  print('no print')
EOF
cat hoge.py;python hoge.py;"

# hogeって出力
print('hoge')
if False:
  # インデントが効くか
  print('no print')
hoge

なんとなくdocker run コマンド側のインデントに合わせたくなりますが、そうするとヒアドキュメントのルール「EOF が単独で現れると終了」から外れてしまうので、後続のコマンドが巻き込まれてしまいます。

> docker run -it --rm --entrypoint="sh" \
  python:3.7 \
  -c "cat <<EOF > hoge.py
  # hogeって出力
  print('hoge')
  if False:
    # インデントが効くか
    print('no print')
  EOF
  cat hoge.py;python hoge.py;"

# 出力なし

cat <<-EOF > hoge.py<<<<-に変更して行頭のタブを無視してみましたが、sh -cで実行しているのが原因なのかダメでした。またエディタを利用しているとタブ→スペース変換されたりするのでムダにハマりそうです。

Pythonの実装でもムダにインデントがあると怒られるので諦めます。

> docker run -it --rm --entrypoint="sh" \
  python:3.7 \
  -c "cat <<EOF > hoge.py
  # hogeって出力
  print('hoge')
  if False:
    # インデントが効くか
    print('no print')
EOF
  cat hoge.py;python hoge.py;"


  # hogeって出力
  print('hoge')
  if False:
    # インデントが効くか
    print('no print')
  File "hoge.py", line 2
    print('hoge')
    ^
IndentationError: unexpected indent

echo コマンドでファイル作成

echoコマンドでも複数行を改行付きで出力できるので、catコマンドと同じことが実現できました。

Dockerfileで複数行を改行付きでechoする際にハマったので共有しておきます | ゲンゾウ用ポストイット
https://genzouw.com/entry/2019/04/17/080500

-cのあと、コンテナ内で実行するコマンドをダブルクォーテーション(")で括り、echoコマンドで出力する文字列をエスケープ記号を付与したダブルクォーテーション(\") にして、Python実装ではシングルクォーテーション(')を利用すると説明は長ったらしいですが、多分スッキリします。
こちらもインデントに気をつける必要がありました。

> docker run -it --rm --entrypoint="sh" \
  python:3.7 \
  -c "echo \"
# hogeって出力
print('hoge')
if False:
  # インデントが効くか
  print('no print')
\" > hoge.py;cat hoge.py;python hoge.py;"

# hogeって出力
print('hoge')
if False:
  # インデントが効くか
  print('no print')

hoge

Amazon ECSタスク定義だと

本題ですが、下記のように定義してやると実現できました。

マネジメントコンソールとかで

  • イメージ: python:3.7
  • エンドポイント: [“sh”, “-c”]
  • コマンド: [“echo “# hogeって出力\nprint(‘hoge’)\nif False:\n\t# インデントが効くか\n\tprint(‘no print’)” > hoge.py;cat hoge.py;python hoge.py;”]

1行で定義しないとだめなので、改行を\n 、インデントのタブを\tに置き換える必要があります。(インデントは半角スペースでもOK)
試しに改行やタブをそのままでマネジメントコンソールのテキストボックスにコピペってみましたがダメでした(´・ω・`)

catコマンドでヒアドキュメントを利用する方法も試してみましたが、どうにも思った結果が得られず断念しました。

AWS CloudFormationだと

AWS CloudFormationだとYAMLで定義できるのでおすすめです。
AWS::ECS::TaskDefinitionの詳細については下記を参考ください。

AWS::ECS::TaskDefinition – AWS CloudFormation
https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuide/aws-resource-ecs-taskdefinition.html

YAML中で改行を含ませる方法は下記を参考にさせてもらいました。

YAMLで値の中に改行を含ませる – 日々此妄想
https://hana-da.hatenadiary.org/entry/20081222/1229930738

テンプレート抜粋

Resources:
  (略)
  ECSTaskDefinitionSample:
    Type: AWS::ECS::TaskDefinition
    Properties:
      Family: "ECSTaskDefinitionSample"
      Cpu: 256
      Memory: 512
      TaskRoleArn: !Ref ECSTaskRole
      NetworkMode: awsvpc
      RequiresCompatibilities:
        - FARGATE
      ContainerDefinitions:
        - Name: test
          Image: python:3.7
          EntryPoint:
            - sh
            - -c
          Command:
            - |-
              echo "
              # hogeって出力
              print('hoge')
              if False:
                # インデントが効くか
                print('no print')
              " > hoge.py;
              cat hoge.py;
              python hoge.py;
          LogConfiguration:
            LogDriver: awslogs
            Options:
              awslogs-group: /ecs/test/
              awslogs-region: !Sub "${AWS::Region}"
              awslogs-stream-prefix: hoge

作成したAmazon ESCのタスク定義からタスク実行すると下記のようにログ出力されて思ったとおりに実行されたことがわかります。
aws logs get-log-eventsコマンドでいい感じにログを取得する方法は下記が参考になります。

Amazon CloudWatch LogsのログをAWS CLIでいい感じに取得する – Qiita
https://cloudpack.media/50416

> aws logs get-log-events \
  --log-group-name <ロググループ名> \
  --log-stream-name <ストリーム名> \
  --query "events[].[message]" \
  --output text

# hogeって出力
print('hoge')
if False:
        # インデントが効くか
        print('no print')
hoge

まとめ

せっかくのコンテナサービスなんだからDockerイメージ作れって話ではあるのですが、ほんとにちょっとしたファイルを作成したいときに使えるかなと思います。

参考

知ると便利なヒアドキュメント – Qiita
https://qiita.com/kite_999/items/e77fb521fc39454244e7

Dockerfileで複数行を改行付きでechoする際にハマったので共有しておきます | ゲンゾウ用ポストイット
https://genzouw.com/entry/2019/04/17/080500

AWS::ECS::TaskDefinition – AWS CloudFormation
https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuide/aws-resource-ecs-taskdefinition.html

YAMLで値の中に改行を含ませる – 日々此妄想
https://hana-da.hatenadiary.org/entry/20081222/1229930738

Amazon CloudWatch LogsのログをAWS CLIでいい感じに取得する – Qiita
https://cloudpack.media/50416

元記事はこちら

Amazon ECSのタスク定義で改行やタブを含むファイルを出力する方法

甲斐 甲

甲斐 甲

2018/7にJOIN。 最近の好みはサーバレスです。なんでもとりあえず試します。

cloudpack

cloudpackは、Amazon EC2やAmazon S3をはじめとするAWSの各種プロダクトを利用する際の、導入・設計から運用保守を含んだフルマネージドのサービスを提供し、バックアップや24時間365日の監視/障害対応、技術的な問い合わせに対するサポートなどを行っております。
AWS上のインフラ構築およびAWSを活用したシステム開発など、案件のご相談はcloudpack.jpよりご連絡ください。