hoge-hogeoのひきこもごも

インフラエンジニアだけど形を持ったインフラを触ったことがない人の徒然

LambdaのエラーログをPython3でSlackに飛ばしたい

Lambdaに吐いたログを監視して、エラーを検知したらSlackに通知したい。

VPC内にEIP固定のTransfer for SFTPが立てたい話

日本語版と英語版のマニュアルが違う(ニュアンスとかじゃなくて内容が) おそらく日本語版の方が古いとおもう。 基本は英語版を読んだ方がいいと思う。 読んでも分からなかったので、手を動かして理解したけど docs.aws.amazon.com 分からなかった日本語版、V…

Nginx: Cookieから特定のデータだけログ出力したい

ログ量かなり増えそう xxx.xxx.36.106 - - [21/Oct/2019:16:30:58 +0900] "GET / HTTP/1.1" 200 14828 "https://hoge-hogeo.com/search/hoge/fuga" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3…

Zappa触ってる その2

apigateway_enabledが効かない Zappa/cli.py at master · Miserlou/Zappa · GitHub use_apigatewayをapigateway_enabledで上書きするんじゃなくて、普通にソースを置換してほしかった。 ちょうどここ上手く動かないよ。。。(Pythonレベル低くてデバッグに時…

Zappa触ってる

穏やかじゃなくて草。 使ってみてるけど、まだまだ開発中なのかなという印象。 API Gatewayの使用可否がうまく動かない apigateway_enabledとuse_apigateway変数が世代交代中でわちゃわちゃしてそう S3にパッケージアップロードしてるけど、デプロイ終わった…

Transfer:ことはじめ

概要 手順 Transfer構築 CloudWatch Logs用のロールつくる Transfer たてる 完成 stopしてもお金は払ってや ユーザつくる ポリシーつくる ロールつくる Transferコンソールからユーザを作成する 動作確認 CloudWatch Logs 概要 S3からデータを見たいんだって…

bundle installで'ld: library not found for -lssl'が出てつらい話

ローカルにアプリケーションcloneしてきてrubyのデプロイツールを検証したい。 bundle installが通らない $ bundle install --path vendor/bundle Fetching mysql2 0.5.2 Installing mysql2 0.5.2 with native extensions Gem::Ext::BuildError: ERROR: Fail…

備忘録:HAProxyのtimeoutを伸ばす

Q: オフィスからTableau Desktopを使ってプロキシサーバ経由で本番DBのリードレプリカに繋いでいるけど、1分くらいでタイムアウトしてしまうのでタイムアウトをのばしてください。 A: PRDのDB(リードレプリカとはいえ)にログインしっぱなしはやめてください…

Logrotate: dailyとか関係なく、ログサイズでローテートしたい

tl;dr 検証開始 1M超えていない&&1日前のログをローテするか 当日すでにローテ済み&&1M超えのログをローテするか すでにローテ済み&&1M超えのログをローテするか:again おまけ 書き方ダメなやつ tl;dr /etc/cron.daily/logrotateは/etc/cron.hourly/に引っ越…

API Gateway: API Keyを使ってAPI実行をする

API Gatewayに作成したAPIをAPI Keyを使って実行したい

Docker: 使っていないボリュームを削除してディスク使用量を節約する

dockerコンテナ周りでボリューム食ってるのかなーと調べてたら、こんなコマンド見つけた。 # docker system df -v Images space usage: REPOSITORY TAG IMAGE ID CREATED ago SIZE SHARED SIZE UNIQUE SiZE CONTAINERS errbit/errbit latest a9d99b72415d 14…

Terraform: module化する話

モノはこんな $ cd terra-modulized-es $ tree . . ├── modules │ └── elasticsearch │ └── aws_es_node.tf └── services └── elasticsearch ├── production │ ├── main.tf └── staging └── main.tf 6 directories, 4 files ここに変数の中身を書く $cat ter…

Terraform: Tableau用のプロキシサーバを立てたい

やりたきこと 資源 やること スタート 戦った跡 EC2構築時、apt-get内のgrub更新で3択迫られてるうちにtime outする。 ssh: handshake failed: ssh: unable to authenticate provisioner "file"のpermission denied RDSのSGを開ける Tableauにアクセスしてみ…

Terraform: サンプルが難しい〜aws_autoscaling_groupが上手くいかない話〜

Placement groups may not be used with instances of typeの話 ↓のサンプルやれば、オートスケールできるようになるんじゃね、って軽いノリで検証し始めたけど、見事にはまった。 www.terraform.io ソースは上記リンク先のページをそのまま。 * aws_autosca…

OpsWorks触ってる

チュートリアルしてるだけなのに、SSHの設定するのがもうめんどくさい。

terraformでaws access_key, secret_keyの指定方法

個人的備忘録。本家のドキュメントが英語なので。 IAMの指定の仕方はいくつかある tfファイルに直書きする コマンド実行時にオプションで渡す ファイルに書いておく 1. tfファイルに直書きする 本家のexampleに一番最初に出てくる書き方。 どやーってgithub…

雑記:terraformちょっと触ってる

EC2 FullAccessだけつけたIAMユーザつくる ↓本家を見ながらつくってく learn.hashicorp.com depends_onでS3出たあたりで、IAMユーザにS3 FullAccessつける ↓の途中で止まってるなう。 https://learn.hashicorp.com/terraform/getting-started/dependencies

beanstalk触ってる話

概要 検証 .ebextensitonを使ってみる td-agentを入れてみる ebコマンドを用いたデプロイ ebコマンド使ってみる memo コマンドラインでデプロイしたい アプリケーションのバージョンを作成 アプリケーションバージョンについて requirement.txtってどこで実…

jenkins ジョブの排他実行したい話

概要 資源 検証 ノードを1つにしてみる Pluginに頼ってみる 概要 アプリケーションのデプロイに3つのジョブを使っている。 PHPアプリをビルドする@ビルドサーバ ビルドしたアプリを対象サーバのDocumentRootへscpする 対象サーバのDocumentRootを切り替えて…

SonarqubeでCoverage出したい話

備忘録。 忘れている何かがあるかもしれない。 資源 CentOS Linux release 7.2.1511 (Core) Jenkins ver. 2.73.1 Java 1.8.0_111 Oracle Corporation (64-bit) SonarQube Scanner 2.8 手順 必要なソースをgit clone ログDIRとか作る Composer updateする php…

Systemctlのサービスを作る

参考 enakai00.hatenablog.com enakai00.hatenablog.com ■serviceファイル作成 vim /usr/lib/systemd/system/nginx.service ############################################ [Unit] Description=nginx - high performance web server Documentation=http://ng…

文字列編集系shell芸

php.iniとかコメントアウトたくさんある系のconfをさらっと確認しよう。 コメントアウトをgrep -v してみればいいかな。 $ grep -v "^;" /etc/php.ini [PHP] engine = On short_open_tag = Off precision = 14 output_buffering = 4096 zlib.output_compress…

Apache Flinkに入門してみる

https://ci.apache.org/projects/flink/flink-docs-release-1.6/quickstart/setup_quickstart.html チュートリアル見て入門してみる。 下のターミナルで打った文字列が、上のターミナルでtailしてるログに吐かれていく。 僕はこのダッシュボードで何を確認す…

pythonでRedisの大量データからttl一覧を取得したい(2)

Redisのキーってttl切れしても実はメモリ上には残ってて、volatile-lruとかが発生するまで残ってるんじゃね? getかttlとかで引けば消えるんじゃね? っていう話が上がって、とりあえずscanしてttl引いてみよう、getしてみようという話。 スクリプト1 collec…

pythonでRedisの大量データからttl一覧を取得したい

Redisに大量のLaravelセッションがあるが、特定のキーパターンについてttl一覧を取得したい。。。 python分からないもぅマヂ無理。なので、↓のような感じで処理をする。 scan パターン count=100とかでキー一覧をつくる キー一覧をfor分で回してttlを探す キ…

redisに大量データを投入したい

脳死bashマンだから for i in `seq 1 1000000`;do redis-cli -h $ホスト setex key$i $ttl val;done とか書いてたけど、めっちゃ遅い。 luaで書いたら早かった。100万件で4秒以下。 > eval "for i = 1, 1000000 do redis.call('setex', i, 300, 1111111111) …

メモリ系の話で参考にしたページ

vmstatの話 qiita.com meminfoの話 dev.classmethod.jp slabメモリの話 dev.classmethod.jp slabの話2 qiita.com キャラクタデバイスとかの話 d.hatena.ne.jp

自己紹介

自己紹介と職歴など