Python

【PySpark入門】第5弾 DataFrameとは?

PySparkで使用されるDataFrameというオブジェクトがどのようなものなのかを見てみます。

【PySpark入門】第4弾 実戦!RDDを操作してプログラムを作ってみる

RDDのAPIを使って簡単なプログラムを作ってみます。

Amazon EC2にPython 3・serverless framework環境を構築する

EC2上にPython3とserverless frameworkの環境を構築します。 言語のバージョン管理ができるように、anyenv・pyenv・nodenvを使います。

Lambda でバッチ処理を構築する際のエラー通知パターン 5選

はじめに パターン1. 直接Publish パターン メリット デメリット パターン2. DLQパターン メリット デメリット パターン3. 失敗時送信先パターン メリット デメリット パターン4. メトリクスフィルターパターン メリット デメリット パターン5. サブスクリプ…

DynamoDB のストレージ容量を自力で取得する方法が分かったかもしれない

はじめに こんにちは。アプリケーションサービス部の保田(ほだ)です。 最近 Future Funk なる音楽ジャンルにハマっており、仕事中 BGM としてずっと流しています。 というわけで今回は DynamoDB のストレージ容量を自力で算出することを試みます。 注意: …

【PySpark入門】第3弾 RDDの理解

RDDとは何かおよびRDDオブジェクトに対して使用できるAPIを紹介して、実際データを操作してみましょう。

【PySpark入門】第1弾 PySparkとは?

Sparkの特徴、PySparkの概要およびユースケースをご紹介します。

【PySpark入門】第2弾 PySparkの環境構築

Dockerを使ったPySparkを動かす環境を構築する方法をご紹介します。

UTF-8 で永続化された日本語文字列を取り出して、どうしても Shift-JIS エンコーディングで出力したい

Shift-JIS で表現できない UTF-8 文字列を無理やり変換したい記事です

pyenv global が効かなくなった(?)話

結論 pyenv global しても何も起きないときはこの警告がないか確認すべし( exec -l $SHELL とか実行する)。 WARNING: `pyenv init -` no longer sets PATH. Run `pyenv init` to see the necessary changes to make to your configuration. 出ていたら、以…

CloudNative Days Spring 2021 Online でサーバーレス初心者向けセッションで登壇しました

CloudNative Days Spring 2021 Online にサーバーレスのネタで登壇してみました。

pipenv + aws-sam-cli + python-dotenv でチーム開発

1. はじめに クラウドインテグレーション部の千葉です。 Python が好きなので、Lambda を使った開発の際は Serverless Framework に aws-python3 のテンプレートを当てて使っています。 ただ、Serverless Framework 自体が Node.js で動いているので、ちょっ…

CodeGuru が Python に対応したので Reviewer 機能を試してみました

クラウドインテグレーション部の千葉です。 CodeGuru が Python に対応しました。 うれしいですね!期待しちゃいますね!! ってことで、わたし試してみました。 1. CodeCommit の作成 + CodeGuru Reviewerを有効化 リポジトリとして、AWS CodeCommit / GitH…

【Backlog API】PythonスクリプトでBacklog Wikiのページを更新する

エンジョイ Backlog! サーバーワークス エンジニアの伊藤Kです。 サーバーワークスでは、プロジェクト管理ツールとして「Backlog」を使っています。 https://backlog.com/ja/ 前回は、PythonスクリプトでBacklog Wikiのページを追加する記事を書きました。 …

【Backlog API】PythonスクリプトでBacklog Wikiのページを追加する

エンジョイ Backlog! サーバーワークス エンジニアの伊藤Kです。 サーバーワークスでは、プロジェクト管理ツールとして「Backlog」を使っています。 https://backlog.com/ja/ パステルグリーンに「b」だけ書かれているシンプルなアイコン、Goodですよね。 …

pytest と moto で優勝する

はじめに 前提知識 導入 pytest moto 状況設定 テスト対象のコード テストメソッドを書く フィクスチャーを書く moto だ…! テストを実行してみる おまけ まとめ 参考 はじめに こんにちは、技術4課の保田(ほだ)です。 皆様は現在話題沸騰中の映画 TENET …

Amazon Connectの問い合わせフローをAPIから作成できるようになったので、使ってみました

はじめに こんにちは、孔子の80代目子孫兼技術4課の孔です。9月もそろそろ終わりとなり、寒くなってきましたね。私は寒い方が好きなので、やっと夏が終わって嬉しい限りです。 ということで、今回はAmazon Connectのアップデートに関するお話しとなります。…

Python の例外を別の例外として投げるときの話

はじめに こんにちは。技術4課の保田(ほだ)です。 iOS14 へのアップデートをしたらかなり雰囲気が変わってビックリしています。 というわけで(?)今日は Python のお話です。 要約 raise 文には from が使えるぞ 本題 main 関数から呼び出されるある関数…

数字文字列のバリデーションチェックの実装方法

こんにちは、技術1課の加藤です。 今回は AWS 一切関係ない、 Python のお話。 先日、0埋めしたい数字文字列に変な値が入っていないか確認する、というバリデーションをプログラムに追加するタスクがありました。 数字文字列のチェックってそういえばどうし…