Yusuke Ebihara's blog

ブログをはじめました。

2020-06-23T20:25:17Z

ブログを始めました。

まずは自己紹介。プログラミングや電気系に興味がある理系の大学生です。

自分自身色々学んでいる途中ということで、自分の学んだことをメモしつつ、誰かの役に立てばいいなあと思いながらゆるく書いていきたいと思っています。

それではこれからよろしくお願いします。

Google製の正規表現ライブラリ「RE2」をpythonで動かす

2020-06-23T20:27:05Z

状況が変わっているため、 Google製の正規表現ライブラリ「RE2」をpythonで動かす - 2025版を参照してください。 (2025/08/14追記)

python で Google の正規表現ライブラリ「RE2」を使いたかったが、インストールで困ったのでメモ。

RE2 とは

RE2 は Google によって開発されている正規表現ライブラリ。

google/re2: RE2 is a fast, safe, thread-friendly alternative to backtracking regular expression engines like those used in PCRE, Perl, and Python. It is a C++ library.

RE2 was designed and implemented with an explicit goal of being able to handle regular expressions from untrusted users without risk. One of its primary guarantees is that the match time is linear in the length of the input string. It was also written with production concerns in mind: the parser, the compiler and the execution engines limit their memory usage by working within a configurable budget – failing gracefully when exhausted – and they avoid stack overflow by eschewing recursion.

https://github.com/google/re2/wiki/WhyRE2

高速な正規表現ライブラリで、計算量が入力文字列の長さに対して線形になるアルゴリズムを採用している。正規表現の計算量を利用したReDoS 攻撃を防げるらしい。

詳細は下の記事に詳しく書いてあった。

インストールする

pip でインストールしてみる

何も考えずに pip でインストールしてみた。

$ pip install re2

インストールに失敗した。

_re2.cc:37:10: fatal error: re2/re2.h: No such file or directory
     #include 
              ^~~~~~~~~~~
    compilation terminated.
    error: command 'gcc' failed with exit status 1

本体のインストール

ちゃんとドキュメントを読んでみる。

re2 · PyPI

axiak/pyre2: Python wrapper for RE2

GitHub の readme にちゃんと書いてあった。

To install, you must first install the prerequisites:

The re2 library from Google

The Python development headers (e.g. sudo apt-get install python-dev)

A build environment with g++ (e.g. sudo apt-get install build-essential)

RE2 本体のインストールが必要らしい。（python-dev・build-seential はすでに入っていたのか、インストールする必要はなかった）

apt-get からインストールできるようなので利用する。（参考）

$ sudo apt-get install -y re2 $ pip install re2

無事インストールが完了した。

公式リポジトリでは easy_install の使用が推奨されていたようだが、easy_install は deprecated なようなので今回は pip を採用した。

うまく行ったと思ったが..

インストールできたかのように思えたが、まだ罠が待っていた。

ドキュメントのとおりに import する。標準の re モジュールをオーバーラップしているので置き換えるだけで同じように動作するようだ。

import re2 as re

File "/code/cms/functions.py", line 1, in import re2 File "re2.pyx", line 1, in init re2 (src/re2.cpp:13681) NameError: basestring

エラーが発生してしまった。

Python3 で re2 を使う

PyPI 版の re2 モジュールは python3 に対応していないから GitHub から直接 pip でインストールするといいいらしい。

せっかくなので RE2 のリポジトリからリンクを貼られている Facebook のリポジトリのほうがメンテナンスされてイそうなので、こちらからインストールすることにする。

facebook/pyre2: Python wrapper for RE2

$ pip install git+https://github.com/facebook/pyre2

無事インストールが完了し、実行することができた。

ベンチマーク結果などは以下の記事にあったので参考までに。

まとめ

RE2 本体と Python ラッパーのインストールが必要。
PyPI でホスティングされているリポジトリ（axiak/pyre2）が Python3 に対応していないなど、メンテナンスされてない感じがあって残念
RE2 のリポジトリからリンクされていてそこそこメンテナンスもされているfacebook/pyre2を使うと良さそう。
pip コマンドを使って GitHub から直接インストールすることができる。

参考サイト

Windowsのscoopが便利という話

2020-06-30T20:44:54Z

windows でプログラミングをやる人全員におすすめしたいパッケージ管理ツール「scoop」を紹介する。

「パッケージ管理ツール」とは

僕はもともと mac ユーザーであるが、mac には有名なパッケージ管理ツール「homebrew」がある。（Linux だとyumやらaptやらがある。）

パッケージ管理ツールはソフトウェアのインストール&管理（そしてそのソフトウェアを動かすのに必要なソフトのインストール）を行ってくれる便利ツールである。特に手動でやると色々面倒な環境構築をコマンド一発でできるので便利なのだ。

mac の場合、

$ brew install python3 $ brew install php

などのように実行するだけで環境が構築できる（mac で homebrew を使ってない人は使いましょう）

Windows のパッケージ管理ツール

Windows のパッケージ管理ツールとして有名なものとしては Chocolatey や Scoop があるらしいので調べてみた。

Chocolatey

https://chocolatey.org/

一番有名らしいが、ネットで下調べしたところ

毎回管理者権限を要求される
アンインストールによく失敗する

などの短所が書いてあったので見送った。（パッケージ管理ツールを使う理由の一つが楽にアンインストールしたいってことなのでアンインストールできないのは致命的）

scoop

https://scoop.sh/

Linux のパッケージ管理ツールをイメージしてる作られたらしい。

https://blog.satotaichi.info/scoop/

このブログが一番わかりやすかった。

Docker も入ったりするらしい。

https://qiita.com/watahani/items/9551e22e0f9d42c35672

Windows Package Manager

https://devblogs.microsoft.com/commandline/windows-package-manager-preview/

Microsoft が公式に開発しているパッケージ管理ツールのようである。今後のスタンダードになるといいなあと思いつつ、今回は情報が少ないということで見送った。

試した

scoop をインストールしてみた。

インストール

公式サイトを参考にしてインストールする。

https://scoop.sh/

Powershell（管理者として実行）で以下のコマンドを実行するだけ。

Invoke-Expression (New-Object System.Net.WebClient).DownloadString('https://get.scoop.sh') # or shorter iwr -useb get.scoop.sh | iex

実行に失敗した場合は下のコマンドで実行ポリシーをする必要があるらしい。（僕は必要なかった）

Set-ExecutionPolicy RemoteSigned -scope CurrentUser

使ってみる

$ scoop install php $ scoop install iverilog

特に時間は測ってないけど結構速くインストールできた。

まとめ

今回は scoop をインストールしてみた
ちょっと使ってみた感じ使いやすかった。
そのうち、汚れた windows 環境を一旦クリーンインストールして scoop で環境構築したい。

Kenkyuu.htmlを読んだ

2020-07-09T20:51:47Z

Kenkyuu

東大の堀先生が書かれたページを学科の先輩から教えてもらったので読んでみた。

「研究者を目指す普通の学生諸君に」という題目で、博士課程の学生に向けて書いたもののようである。

これを読んで最初に出てきた感想は「厳しすぎる」だった。こんな厳しいことまで言われて研究なんかしたくない、と思った。でも、それが研究するということなのだなあとも思った。

今はまだ学部 3 年生、進振りを終えて工学部に進んでまだ半年も経たない、研究の"け"の字も知らないような学生である。研究生活も、なんか適当にテーマ決めてもらってあとは今までのレポートと同じように惰性で終わらせれるものだという考えが奥底にはあった（今もあるかもしれない）。「研究がつらい」という発言を聞いても「いつものやつね」程度の認識しかなかった。

たった１ページ分を読んだだけだが、自分の進むことになるかもしれない研究室の先生の言葉ということもあり、とても重く考えさせられた。

「研究者を目指す普通の学生諸君に」を読んだ話 - tooshitaka’s diary

上のブログも見つけた。こちらはもう研究生活を終えた方の言葉ということもあり、これも説得力があった。"ある程度の試行錯誤で研究をしてきて失敗もした学生じゃないと共感できないかもしれない"という言葉も本当なのだろうなあと感じた。

研究室配属まで 1 年を切っているが、今一番すべきことはひたすら勉強することだと思うので、とりあえず勉強します（泣）

Windowsでyarnが動かなかった。

2020-07-28T20:47:59Z

mac で開発していた Nuxt のソースコードを windows に持ってきた。

yarn の開発環境は scoop で構築した。

$ scoop install node yarn

これでコンパイル！しようとしたら失敗した。

$ yarn run generate yarn run v1.22.4 > $ nuxt generate 'nuxt' is not recognized as an internal or external command, operable program or batch file. error Command failed with exit code 1. info Visit https://yarnpkg.com/en/docs/cli/run for documentation about this command.

nuxt が見つからないよ！って怒られてるらしい。もちろんちゃんと yarn での nuxt のインストールはしてあるので、エラーになるのはよくわからない。

解決策

調べてみたところ、cross-envを使うといいらしい。

まずはcross-envのインストール

$ yarn global add cross-env

それに加えて、package.jsonの書き換えを行う。

- "dev": "nuxt", - "build": "nuxt build", - "start": "nuxt start", - "generate": "nuxt generate", + "dev": "cross-env nuxt", + "build": "cross-env nuxt build", + "start": "cross-env nuxt start", + "generate": "cross-env nuxt generate",

これで実行すると成功した。

cross-env は、「開発環境ごとの差異を吸収してくれる」ということらしいが、よくわかっていない。

node のライブラリは全体的によくわからないものしかない。

参考サイト

vue.js — nuxt プロジェクトの実行エラー：「 'nuxt'は内部または外部コマンドとして認識されません」

DockerでCodiMDを構築した

2020-08-01T04:09:49Z

同時編集できるオンラインの Markdown エディタ「HackMD」がある。

HackMD - Collaborative Markdown Knowledge Base

これのオープンソース版の「CodiMD」を、自分のサーバー上に構築してみた。

docker の設定

公式サイトを参考にする。

Docker Deployment - HackMD

新しいフォルダを作り、 docker-compose.yml を作成して編集する。 DB のパスワードは .env ファイルに書き出す（git にはコミットしない）。

.
├─docker-compose.yml
├─.gitignore
└─.env

docker-compose.yml

version: '3'

services:
    db:
        image: postgres:11.6-alpine
        environment:
            - POSTGRES_USER=${DB_USER}
            - POSTGRES_PASSWORD=${DB_PASSWD}
            - POSTGRES_DB=codimd
        volumes:
            - "db-data:/var/lib/postgresql/data"
        restart: always
    codimd:
        image: nabo.codimd.dev/hackmdio/hackmd:2.2.0
        environment:
            - CMD_DOMAIN=example.com
            - CMD_DB_URL=postgres://${DB_USER}:${DB_PASSWD}@db/codimd
            - CMD_PROTOCOL_USESSL=true
            - CMD_USECDN=false
            - CMD_ALLOW_ANONYMOUS=false
            - CMD_DEFAULT_PERMISSION=private
            - CMD_ALLOW_PDF_EXPORT=true
            - CMD_IMAGE_UPLOAD_TYPE=filesystem
            - CMD_ALLOW_EMAIL_REGISTER=false
        depends_on:
            - db
        ports:
            - "3030:3000"
        volumes:
            - upload-data:/home/hackmd/app/public/uploads
        restart: always
volumes:
    db-data: {}
    upload-data: {}

.env（変更する）

DB_USRR=codimd DB_PASSWD=somepassword

.gitignore

.env

カスタマイズは環境変数で行っている。

CodiMD Configuration Overview - HackMD

自分用として使うため、ユーザー登録必須・ユーザー登録はできない設定としている。

使ってみる

アクセスしてみる。

ちゃんとユーザー登録ボタンが消えている。

オンラインでのユーザー登録は無効にしているのでコマンドで行う。

$ docker-compose exec codimd

# cd bin
# ./manage_users --add user@example.com
# exit

うまくログインできた！

まとめ

HackMD のオープンソース版「CodiMD」を Docker で構築できた
細かく環境変数でカスタマイズできた。

参考サイト

Docker 内に HackMD 構築してみた話。 – % Incomplete command.

zoomでYouTube Liveをする

2020-08-02T20:54:33Z

ビデオ会議アプリ Zoom には、そのまま YouTube Live に配信する機能がついている。

ライブを配信する機会があったのでその時のいろいろなことのメモ

仕様は 2020.8.2 最新バージョン時点なので変わる可能性あり

実際にやる場合は一度ためしてからやってみてください。

やり方

zoom の設定 → ミーティング詳細 → ライブストリームを許可が有効になっていることを確認する。
zoom の画面の「その他」から「Live on YouTube」を選ぶ。
YouTube の画面が開き、配信タイトル等を入力する欄が現れる。
必要な内容を入力するとライブが作成され、配信することができる。

【最小構成のライブ配信】Zoom で YouTube Live をしよう！｜松井隆幸@ライブ配信が好きな人｜ note

OBS 配信との比較

ライブ配信をするとき、通常は OBS などの配信ソフトなどを使うが、それと比べてみる。

メリット

画面レイアウトをうまくやってくれる
音声ラインを考えなくていい
PC スペックを圧迫しない

画面レイアウトをうまくやってくれる

ギャラリービューの配置や、画面共有時の配置など、zoom 側でいい感じのレイアウトにしてくれる。

OBS でこれをやろうと思うと、zoom の画面をキャプチャしたりしてズレがちなので、これを勝手にやってくれるのはとても楽だった。

音声ラインを考えなくていい

OBS でビデオ通話しながら配信しようと思うと、zoom から出る音と自分の声とをうまく配信しつつ、調整がめんどくさかったりする。zoom の通話音声をそのまま配信できるので楽。

PC スペックを圧迫しない

OBS で配信しようとすると、zoom の受信・画面のキャプチャ・YouTube への送信を行わないといけないので、PC のスペックや通信帯域を圧迫してしまうが、zoom でのライブ配信であれば zoom サーバーから映像を送出してくれるので、スペックがそこまで必要ない。

デメリット

レイアウトをカスタマイズできない
音声の確認・調整がしづらい

レイアウトをカスタマイズできない

自動でレイアウトしてくれるというメリットの裏返しでもある。

例えば共有画面を小さく、自分を大きく写したいってときもあるかもしれないが、そういうことができない。

音声の確認・調整がしづらい

後述もするが、zoom 上と YouTube 上で音声の聞こえ方が違ったりするので、確認が難しい上、自在に調整できるわけでもない。

注意点

いくつか罠があった。

予約配信のしかた

zoom から「YouTube Live」を選ぶと、あたらしく Live が作成される。

事前に作成した配信で配信したい場合は、「YouTube Live」ではなく「カスタムライブストリーミング」を選び、ストリーミングキーなどを入力する必要がある。

遅延について

YouTube Live に表示されるまでに少しタイムラグがある。

終了時に zoom の画面を見ながら YouTube 側で配信を停止すると、最後まで再生されないまま終了してしまうことがあるので注意。

画面の映り方

YouTube Live を開始した人（ホスト？）の画面表示に準拠した表示になる。

ギャラリービューで表示しているとき

ギャラリービューで表示される
ただし、ビデオオフになっている人は表示すらされない
ビデオオンになっている人が 1 人だけのときは、全画面にその人の画像が表示される。

スピーカービューで表示しているとき

普通の状態では今喋っている人（おそらく音量で判定している）が表示される。
- ビデオオフの人が喋ってもその人にはならない
「スポットライトビデオ」に指定すると、その人の画面で固定される。
「ビデオの固定」は反映されない

画面を共有しているとき

ビデオオンの人がいる場合は右上に小さく表示される。
ギャラリービューの場合でも 1 人しか表示されない
- 表示のされ方はスピーカービューのときと同様。

BGM について

BGM は、zoom の画面共有の「コンピュータオーディオの共有」機能で流すことができるが、これが罠だらけだった。

ノイズカット

人の声が聞こえやすいよう、人がしゃべっているときは BGM がカットされることがある。

これは zoom の仕様によるものと思われるが、なぜか Windows からの配信のときはカットされるが、mac から配信したらカットされなかった。zoom の仕様なのですぐ変わる可能性があるため、ちゃんと事前にチェックしたほうがいい。

音量

これは非直感的なのが、「オーディオ共有の音量は PC 本体の音量に影響される」ということ。(mac)

流す BGM の音量を小さくしつつ zoom の音声を聞くのは難しいため、BGM 配信用と zoom の音声を聞く用の PC は別に用意したほうがいい。

また、音量最小でもまだ BGM が大きいので、音源を加工してゲインを下げる必要があるかもしれない。

結局、bgm の配信には向いていない。

まとめ

zoom を利用すると簡単にライブストリーミングをできる。
いろいろ自動でやってくれる一方で複雑なことは難しい
特に BGM は難しい。

Windowsの環境構築メモ

2020-08-14T21:00:01Z

最近 Windows PC の調子が悪くなってきていたので、windows を初期化してインストールし直した。

windows の環境構築のメモ。

必須ソフトのインストール

手動で真っ先にインストールするソフト。

Google Chrome

Google Chrome - Download the Fast, Secure Browser from Google

ブラウザは普段 Google Chrome を使っている。これをインストールしないと始まらない。

Google Chrome は Google アカウントでログインするだけで設定やブックマークから拡張機能まで、普段の環境が整うのでかんたん。

1password

Best Password Manager for Windows | 1Password

パスワード管理は 1password で行っている。これを入れないと各種 web サイトへのログインが面倒なので、まっさきに入れる。

Dropbox

ダウンロード - Dropbox

ファイルは普段 Dropbox で同期している。これを入れれば普段使っている Office などのファイルが一発で同期されるので、便利。

デスクトップの設定

Dropbox をつかって、デスクトップも同期している。（とりあえずデスクトップにおいたファイルが同期されるので便利。）

Dropbox\Desktop がデスクトップに表示されるように設定を変える。

エクスプローラーのデスクトップの「プロパティ」の「場所」タブから変更する。

Google 日本語入力のインストール

Google 日本語入力をインストールする。

また、「変換」「無変換」を用いて入力モードを切りかえる（mac 風）設定にしているので、これを設定しないと使い物にならないので設定する。

Henkan・Hiragana に「Set input mode to Hiragana」、Muhenkan に「Deactivate IME」を選択する。Mode ごとにあるので全部の Mode に関して設定する。

Scoop のインストール

Windows の scoop が便利という話

前も記事に書いた Scoop を使って各種環境を設定する。

Scoop

Powershell で以下のコマンドを実行してインストールする。

Set-ExecutionPolicy RemoteSigned -scope CurrentUser iwr -useb get.scoop.sh | iex

ついでに各種基本コマンドをインストールしておく。

$ scoop install git $ scoop install make

ssh キーを作る

github に接続するために ssh キーを作って設定する。

$ ssh-keygen -b 4096 $ cat ~/.ssh/id_rsa.pub

Github に登録しておく。

dotfiles のインストール

自分で普段使っている.bashrcや.gitconfigなどを入れる。

自作の同期用スクリプトを用意しているので、それを用いる。

今後のシェル操作は git bash からおこなう。

$ curl -sL dot.ebiyuu.com | sh $ cd ~/dotfiles $ ./dot link

VSCode の設定

VSCode をインストールする。

$ scoop install vscode

VSCode を起動したら真っ先に「Setting Sync」拡張機能をインストールして、設定を同期する。

GitHub ログインが終わったら、ctrl+shift+P でコマンドパレットを開き、> Sync: Download Settingsを選ぶ。

Docker のインストール

Windows Pro だったので、公式サイトに従ってインストールをしたらすぐ設定が終わった。

その他

ここまで終わったらほとんど元の環境が整った。あとは LINE や Slack などの細かいソフトを落としたら環境構築完了である。大体 1 時間かからなかった。

まとめ

環境構築をした。
scoop が便利
これからも定期的にインストールしなおそう。

マコの名言

2020-08-23T19:51:50Z

株式会社ほえいのマコの名言に感動した。

人生、「この時のために生きてるんや！」っていう瞬間を切り取って積み重ねて、どれだけ高く登れるかのゲームだと思ってる

今は、出し切って作った動画が世に出る瞬間がまさにそれ
— マコ (@mako77_77) August 23, 2020

人生頑張ろうと思う。

macのopenコマンドとwindowsのstartコマンド

2020-08-23T19:51:50Z

mac の場合

mac のターミナルには open というコマンドがある。例えば

$ open .

とすると現在のフォルダを Finder で開くし、

$ open doc/html/index.html

とすればブラウザで html でファイルを開いたり、

$ open logo.png

とすると画像ファイルをプレビューアプリで開いたりする。

要はファイルをダブルクリックした時と同じ動作になる。ファイルを簡単に確認するのに便利なのでぜひ覚えておきたい。

Windows の場合

これは最近知ったのだが、windows にも start コマンドがある。

git bash の場合

$ start .
$ start doc/html/index.html
$ start logo.png

コマンドプロンプトの場合

> start .
> start doc\html\index.html
> start logo.png

などと、 open コマンドと同等の事ができる。

フォルダを開く場合は直接 explorer を呼ぶことができる。

git bash の場合

$ explorer doc
$ explorer doc\\html # ファイル名は\\で区切る必要がある

コマンドプロンプトの場合

> explorer doc
> explorer doc\html

WSL の場合

WSL からフォルダを開く場合は、前述の explorer が使える。ただし、ちゃんと eplorer.exe と指定しないといけない。

$ explorer.exe .

Inkscapeの開発に参加した

2020-11-03T04:28:19Z

この記事は Inkscape の開発に参加した - Qiita から移行しました。

この記事は東京大学工学部電子情報工学科・電気電子工学科(通称 eeic, cf.)の 3 年後期実験の一つである「大規模ソフトウェアを手探る」のレポートとして，書かれたものです。

概要を手探る。

人生で初めて OSS に Contribute したので、そのことについての記録を。今回は OSS としてドローソフトの Inkscape を取り上げた。開発は GitLab 上のリポジトリで行われており、メイン言語は C++となっている。

Draw Freely | Inkscape
リポジトリ：Inkscape / inkscape · GitLab

冒頭に書いたとおり、「大規模ソフトウェアを手探る」という大学の授業の一環で行ったことであるが、ずっと OSS に興味はあったので良い機会であった。

今回はバグ修正を１つと、機能追加を１つ行った。バグ修正の方は Merge Request を提出し、本リポジトリにマージされた。

この記事では、初めて見るソースコードに対して実際にどのように編集を加えていったのかを示す。 ※ビルド方法などこの記事に書いていないことについては、同じく実験に参加したメンバーが別途記事を書いている。

バグ修正編

今回の修正内容

バグの内容を手探る。

今回行った修正は以下の Issue への解決である。

clipping paths are antialiased even if export is set to no antialiasing (#1921) · Issues · Inkscape / inkscape · GitLab

要はクリッピングマスクを適用した図形を png エクスポートする際に、アンチエイリアスを無効にする設定にしても反映されないというバグである。

クリッピングマスクを適用した図形を png エクスポートする際に、アンチエイリアスを無効にしてもアンチエイリアスが適用されるバグ。

アンチエイリアスあり	アンチエイリアスなし

実際に試してみると、クリッピングパスを設定していないオブジェクト（黒）に関してはアンチエイリアスの設定が反映されているが、クリッピングパスを設定したオブジェクト（赤）に関してはアンチエイリアスの設定に関わらずアンチエイリアス処理が行われていることがわかる。

大量のファイルをを手探る。

ファイルが多すぎてどこをどういじれば良いのかわからない。

というわけで手がかりを探そうと思っていたところ、該当 Issue に以下のような記述がなされていた。

Remarks to whoever wants to try to tackle this : in src/diplay/drawing-item.cpp please take the lines 711-726 and make it a static function taking arguments dc and _antialias, so that you can call it from other places (say, from the ::clip method, if that has chances to work)

（だいたい意訳）

この Issue をやる人へ：src/diplay/drawing-item.cpp の 711-726 行目を dc と _antialias を引数にもつ static 関数にすれば、色んな場所から呼び出せます。（そしてこれを ::clip メソッドから呼び出せばもしかしたらバグの解決に役立つかも！）

このコメント自体がそのまま解決に結びつくかどうかはまだわからないが、 src/diplay/drawing-item.cpp を見れば良いということはわかった。というわけで src/display/drawing-item.cpp をひもとく。

`drawing-item.cpp` を手探る。

drawing-item.cpp は　Inkscape::DrawingItem というクラスの実装が記述されていた。 DrawingItem クラスは図形や文字・画像など、描画されるアイテムの基底クラスであるようであり、描画時に用いられる。DrawingShape や DrawingGryphs などのクラスから継承されていることがわかる。

（doxygen ドキュメントより）

たくさんのメソッドが記述されていたが、今回関係するメソッドだけを抽出すると以下のようになる。上で記述されていた 711-726 行目とは、switch(_antialias){ の行である。

...
void
DrawingItem::setAntialiasing(unsigned a)
{
    if (_antialias != a) {
        _antialias = a;
        _markForRendering();
    }
}
...
unsigned
DrawingItem::render(DrawingContext &dc, Geom::IntRect const &area, unsigned flags, DrawingItem *stop_at)
{
    ... // 事前処理など

    switch(_antialias){
        case 0:
            cairo_set_antialias(dc.raw(), CAIRO_ANTIALIAS_NONE);
            break;
        case 1:
            cairo_set_antialias(dc.raw(), CAIRO_ANTIALIAS_FAST);
            break;
        case 2:
            cairo_set_antialias(dc.raw(), CAIRO_ANTIALIAS_GOOD);
            break;
        case 3:
            cairo_set_antialias(dc.raw(), CAIRO_ANTIALIAS_BEST);
            break;
        default: // should not happen
            g_assert_not_reached();
    }

    ... // 描画処理など

    if (_clip) {
        ict.pushGroup();
        _clip->clip(ict, *carea);
        ict.popGroupToSource();
        ict.setOperator(CAIRO_OPERATOR_IN);
        ict.paint();
    }

    ... // 描画処理など
}
...
void
DrawingItem::clip(Inkscape::DrawingContext &dc, Geom::IntRect const &area)
{
    ... // 処理
}
...

また、 Inkscape::DrawingItem クラスは以下のようなメンバ変数をもつ。（関連するもののみ抽出）

DrawingItem *_clip;
unsigned _antialias : 2; ///< antialiasing level (NONE/FAST/GOOD(DEFAULT)/BEST)

ソースコードから以下のようなことがわかる

render 関数で描画処理を行っている。
- 実際にデバッガを用いてブレークポイントを貼りながら実行することで、描画処理時（画面の表示更新時や画像書き出しなどのラスタライズされるタイミング）に render メソッドが実行されることがわかった。
クリッピングパスが設定されたオブジェクトでは render メソッド内で　clip メソッドが呼び出されている。（デバッガで調べると実際そうであることがわかる）
_render 関数の内部でメンバ変数 _antialias の値によって分岐し、アンチエイリアスの設定を切り替えている。
クリップマスクが設定されている場合、メンバ変数 _clip に DrawingItem へのポインタが設定されている。（子要素のようなもの）
描画ライブラリとしてcairoが用いられている。

これがわかったところで、まずは、どこで問題が発生しているのかを突き止める。アンチエイリアスが反映されない原因として、以下のようなものが思いつく。

設定値が　_antialias メンバ変数に反映されていない
_antialias メンバ変数をもとに cairo に設定値を正常に渡せていない
cairo が受け取った設定値を反映できていない（ライブラリのバグ）

`clip()` を手探る。

まず、3 を検証するため、clip() メソッドを以下のように変更した。

  DrawingItem::clip(Inkscape::DrawingContext &dc, Geom::IntRect const &area)
  {
      // don't bother if the object does not implement clipping (e.g. DrawingImage)
      if (!_canClip()) return;
      if (!_visible) return;
      if (!area.intersects(_bbox)) return;


+     cairo_set_antialias(dc.raw(), CAIRO_ANTIALIAS_NONE);
+
      dc.setSource(0,0,0,1);
      dc.pushGroup();

      ...
  }

クリッピングマスクに関して、設定値に関わらずアンチエイリアオフに固定してその結果を見る意図である。これで正常にアンチエイリアスがオフになれば cairo ライブラリには問題がないということが分かる。

実際、ビルドして実行を行ったところ、アンチエイリアスがオフになったため、ライブラリの問題でないことはわかった。

そこで、render()メソッドに含まれるswitch文をclip()メソッドにも書いてみる。

  DrawingItem::clip(Inkscape::DrawingContext &dc, Geom::IntRect const &area)
  {
      // don't bother if the object does not implement clipping (e.g. DrawingImage)
      if (!_canClip()) return;
      if (!_visible) return;
      if (!area.intersects(_bbox)) return;


+     switch(_antialias){
+       case 0:
+           cairo_set_antialias(dc.raw(), CAIRO_ANTIALIAS_NONE);
+           break;
+       case 1:
+           cairo_set_antialias(dc.raw(), CAIRO_ANTIALIAS_FAST);
+           break;
+       case 2:
+           cairo_set_antialias(dc.raw(), CAIRO_ANTIALIAS_GOOD);
+           break;
+       case 3:
+           cairo_set_antialias(dc.raw(), CAIRO_ANTIALIAS_BEST);
+           break;
+       default: // should not happen
+           g_assert_not_reached();
+   }
+
      dc.setSource(0,0,0,1);
      dc.pushGroup();

      ...
  }

これでバグ解決となればよかったが、解決しない。デバッガで見てみると、 _antialias の値に設定値が反映されていないことが分かったため、この原因を調査する。

`_antialias`を手探る。

_antialias はアンチエイリアスの設定によって変化するため、全DrawingItemで共通である。（なぜグローバルなオブジェクトではなく各DrawingItemに持たせているのかはわからない）

DrawingItem(を継承しているクラス)のインスタンスは木構造となっていて、根の_antialiasを変更してrender()時に値を子に伝播させていく、という形式のようである。

この伝播の途中で処理が抜けていてクリッピングマスクの部分までで_antialiasの値が引き継がれていないのが原因のようだった。

render()関数内の該当箇所は以下のようになっている。

    // 3. Render object itself
    ict.pushGroup();
    render_result = _renderItem(ict, *iarea, flags, stop_at);

_renderItem()は仮想関数で、実態はDrawingItemを継承したクラスで定義されている。このうちDrawingGroup::renderItem()の実装が問題であった。

  for (auto &i : _children) {
+     i.setAntialiasing(_antialias);
      i.render(dc, area, flags, stop_at);
  }

上記のように修正したところ、ちゃんと反映されるようになった。

ついでに

_clipが指すオブジェクトもDrawingItemなので、_antialiasを持っている。クリッピングマスクが入れ子になっている場合は、_clip->_antialiasの値にも反映する必要があるため、render()関数の中で更新をおこなう。

  if (_clip) {
      ict.pushGroup();
+     _clip->setAntialiasing(_antialias); // propagate antialias setting
      _clip->clip(ict, *carea);
      ict.popGroupToSource();
      ict.setOperator(CAIRO_OPERATOR_IN);
      ict.paint();
  }

Merge Request を手探る。

上記の変更を加え、Merge Request を作成した。 Issue でも言及された共通部分の関数化なども合わせて実施した。

Fix clipping path antialias (!2401) · Merge Requests · Inkscape / inkscape · GitLab

約 24 時間後に master ブランチへ無事マージされた。

おまけ：機能追加を手探る。

同じくドローソフトである Adobe Illustrator には、「キーオブジェクトに整列」機能がある。

これを Inkscape で実装した。(変更内容)

キーオブジェクトを保持する変数を作成
選択ツールの動作を変更
整列処理を変更

バグ修正で全体像を掴んでいたこともあり、機能追加自体はかんたんに行うことができた。まだ未完成の状態で開発を進められていないが、機会があれば追記しようと思う。

感想を手探る。

初めての OSS への参加という経験であった。

「大規模ソフトウェアを手探る」というテーマの通り、たくさんのソースコードから該当箇所を見つけ出すのが最も大変であった。しかし、どんなソフトも結局それぞれの機能は普段使うような言語で書かれているということを実感できた。

参考

ブログを移転しました

2021-06-01T16:24:56Z

https://ebiyuu.com/ に載せていた自分のホームページをリニューアルしました。

そこで、別ドメイン https://blog.ebiyuu.com/ で運用していたブログを統合しました。今後記事の移行を行っていきます。

新ブログに用いられている技術

実は、以前のブログは WordPress を用いて構築していました。しかし、Wordpress の管理は、定期的なソフトウェア更新を行わないと脆弱性が生まれてしまうなど、コストが大きくかかります。

そこで、静的サイトジェネレータ（SSG）を用いることにしました。記事を更新するごとにウェブページをビルドして、HTML ファイルで配信しています。ブログの管理コストを下げるには、動的なプログラムをウェブ上に公開する必要がないため、セキュリティ的な問題が発生しづらいことがメリットです。

SSG の選定

今までのウェブページは Jekyll を用いて生成していました。GitHub Pages に標準搭載されていたのが理由で、GitHub に push すると自動でウェブページが生成されていました。

新サイトでは、Go 言語製の静的サイトジェネレータHugoを使いました。理由は使ってみたかったのと、速度が早いとのことでローカルで編集しやすいかなと思ったからです。実際に使ってみたところ、Hugo の実行は噂通り爆速でした。起動したのに気づかないし、ホットリロードも 1 秒もかかりません。

デプロイには Netlify を使いました。いままで静的サイトのデプロイには AWS S3 を使っており、Netlify hosting は初めて使ったのですが、GitHub から自動でデプロイしてくれるので便利ですね。

WSLのlocalhostがWindowsから見えない問題

2021-06-02T04:40:00Z

WSL でウェブ開発をしている際、Windows 上のブラウザから http://localhost:3000 とかでアクセスできないことがよくあった。大体再起動すると戻るのだが。

WSL 内から

$ curl localhost:3000

とかするとソースは見えるので、サーバー自体は立ち上がっていそう。

結論としては、Windows の「高速スタートアップ」をオフにすると解決した。再起動時（シャットダウン → 起動とは挙動が違う）は高速スタートアップが無効になるため、再起動でも解決していたようだ。

Linux と Windows をデュアルブートしている場合でも高速スタートアップがよく悪さをするので、無効化しておくのが無難そう。（そんな早くなる実感ないし）

参考記事

WSL2 内で立ち上げたサーバに Windows 側から localhost で接続する - Qiita

AWSを用いてサーバーレスでリダイレクト

2021-06-02T09:00:53Z

よくアクセスするウェブサイトに簡単にアクセスするため、独自ドメインからリダイレクトを設定したい。

リダイレクトのためだけにサーバーを用意するのも面倒なため、AWSを用いてリダイレクトを行う。

構成

S3のStatic Site Hosting機能を使ってリダイレクトを行い、Cloudfront+ACMでSSL化する。SSL化が必要ない場合はS3だけで可能。

構築手順

S3バケットを設定する。独自ドメインのリダイレクトを行う場合、バケット名をドメイン名(FQDN)にしなければならない。
Static Site Hostingを有効化し、リダイレクトを設定する。
Cloudfrontディストリビューションを作成し、Static Site HostingのURL（S3バケットそのものではない）をオリジンに設定する。
CloudfrontにCNAMEを設定し、Route 53にてCNAMEレコードを追加してCloudfrontに独自ドメインを設定する。ACMも設定する。

302リダイレクト

前述の方法だと、HTTPコードが301になってしまう。リダイレクト先が変更される場合がある場合は302が妥当（ブラウザにリダイレクトがキャッシュされてしまう）。

そこで、Host Static Website を選択し、リダイレクトはRedirection Ruleを用いて設定する。

https://example.com/path にリダイレクトする場合は以下のようになる。

[
    {
      "Redirect": {
        "HostName": "example.com",
        "HttpRedirectCode": "302",
        "Protocol": "https",
        "ReplaceKeyWith": "path"
      }
    }
]

参考サイト

LINEのトーク履歴を解析する

2021-06-07T10:04:17Z

LINE のトーク履歴を解析して、累計通話時間・メッセージ数をグラフ化するコードを書いたのでせっかくなので公開する。

解析してみると新しい発見があっておもしろいかもしれない。

ソースコード(gist)

トーク履歴をエクスポートした txt ファイルを同じフォルダに配置してから実行してください。

import re
import datetime
import matplotlib.pyplot as plt

data = []

filename = input("input filename (before \".txt\") > ")

with open(filename + ".txt", "r", encoding="utf_8_sig") as f:
    lines = f.read().split('\n')

if m := re.match(r"\[LINE\] Chat history with (.*)", lines[0]):
    YOU = m.groups()[0]
elif m := re.match(r"\[LINE\] (.*?)とのトーク履歴", lines[0]):
    YOU = m.groups()[0]
else:
    print("cannot detect name")
    exit()

for line in lines:
    if m := re.match(r"(\d\d\d\d)\/(\d+)\/(\d+)", line):
        y, m, d = m.groups()
        if len(data) == 0:
            data.append({
                "date": datetime.date(int(y), int(m), int(d)),
                "chat": {
                    "me": 0,
                    "you": 0,
                }, 
                "call": {
                    "me": 0,
                    "you": 0,
                },
            })
        else:
            data.append({
                "date": datetime.date(int(y), int(m), int(d)),
                "chat": {
                    "me": data[-1]["chat"]["me"],
                    "you": data[-1]["chat"]["you"],
                },
                "call": {
                    "me": data[-1]["call"]["me"],
                    "you": data[-1]["call"]["you"],
                },
            })
    elif m := re.match(r"\d+:\d+\t(.*?)\t", line):
        is_me = m.groups()[0] != YOU
        if len(data) == 0:
            continue

        if is_me:
            data[-1]["chat"]["me"] += 1
        else:
            data[-1]["chat"]["you"] += 1
        if m := re.search(r"Call time ((\d+):)?(\d+):(\d+)", line) or re.search(r"通話時間 ((\d+):)?(\d+):(\d+)", line):
            _, h, m, s = m.groups()
            if is_me:
                data[-1]["call"]["me"] += int(h or 0) + int(m or 0) / 60 + int(s or 0) / 3600
            else:
                data[-1]["call"]["you"] += int(h or 0) + int(m or 0) / 60 + int(s or 0) / 3600

fig = plt.figure()
ax1 = fig.add_subplot(211)

plt.stackplot(
    list(map(lambda row:row["date"], data)),
    list(map(lambda row:row["call"]["me"], data)),
    list(map(lambda row:row["call"]["you"], data)),
    colors=["blue", "red"],
)
plt.legend(["ME", "YOU"], loc="upper left")
plt.xlabel("date")
plt.ylabel("time [h]")
plt.grid()

ax2 = fig.add_subplot(212)

plt.stackplot(
    list(map(lambda row:row["date"], data)),
    list(map(lambda row:row["chat"]["me"], data)),
    list(map(lambda row:row["chat"]["you"], data)),
    colors=["blue", "red"],
)
plt.legend(["ME", "YOU"], loc="upper left")
plt.xlabel("date")
plt.ylabel("count")
plt.grid()

plt.tight_layout()
plt.savefig(filename + ".png")
plt.show()

Lambda at Edge Chrome

2021-06-08T12:54:11Z

Lambda layer を作成する

Headless Chrome 本体のレイヤーと、pip ライブラリをインストールしたレイヤーの 2 つを作成します。

chrome Layer

以下の 2 点を Zip にします。

adieuadieu/serverless-chrome: 🌐 Run headless Chrome/Chromium on AWS Lambda
- Headless Chrome を Lambda で動作するようにカスタマイズしたライブラリ
ChromeDriver - WebDriver for Chrome - Downloads
- Chrome を制御する WebDriver

今回は Serverless Chrome Release v1.0.0-37、Chromedriver 2.37を用いました。（最新版は容量不足で入らなかった）

これらを解凍して実行権限を与え、chrome フォルダにまとめて zip に固めます。

chrome
├── chromedriver
└── headless-chromium

$ chmod 755 chrome/*
$ zip -r chrome.zip chrome

chrome.zipを Lambda Layer としてアップロードします。

selenium layer

画像のリサイズ処理を行うため、Pillow も一緒にインストールします。

$ pip3 install -t python/lib/python3.7/site-packages selenium Pillow
$ zip -r selenium.zip python

動かん。もう無理。

参考サイト

WindowsからsshでGUIを表示したメモ

2021-06-15T05:41:51Z

`~/.ssh/config` の記述内容

Host hogehoge
    ForwardX11 yes
    ForwardX11Trusted yes

は記述しておく。

VcXsrc のインストール

VcXsrv を Windows 側で起動しておく。

また、起動時のオプションで -ac を指定する。

WSL での試行

普段 SSh クライアントは WSL 上の ssh を使っているので、何も考えず WSL で接続を試みた。

.bashrcに以下を記述しておくとよいとのこと。

export DISPLAY=$(cat /etc/resolv.conf | grep nameserver | awk '{print $2}'):0

これで動くはずだったが、動かなかった。エラーも出ず何も起きない状況。

Powershell での試行

WSL->Windows の通信がうまくいっていなさそうなのでシンプルに Windows 側の ssh クライアントで接続する。（最初からそうすればよかった）

$env:DISPLAY="localhost:0.0"
ssh hoge

すると、

ssh_askpass: posix_spawn: No such file or directory

とのエラーメッセージが。

mkdir \dev
echo x > \dev\tty

を実行すれば良いらしいので実行したところうまく接続でき、GUI も表示された。

参考サイト

Xcode Cheatsheet

2021-08-19T12:56:25Z

XCodeのショートカット（よく使うもの）

ビルド関連

キー	効果
`cmd` + `B`	ビルド
`cmd` + `R`	実行
`cmd` + `.`	停止

エディタ関連

キー	効果
`cmd` + `↩︎`	エディタのみ表示
`opt` + `cmd` + `↩︎`	キャンバスを表示
`shift` + `ctrl` + `cmd` + `M`	ミニマップ

コード関連

キー	効果
`ctrl` + `cmd` + `J`	定義にジャンプ
`ctrl` + `cmd` + `←︎`	ジャンプから戻る
`shift` + `ctrl` + `cmd` + `/`	クイックヘルプ
`opt` + `cmd` + `/`	関数・クラスにコメントを追加

pipenvのススメ

2021-08-23T10:31:25Z

pipenvとは

環境ごとにパッケージの管理ができるツール。npm・yarnのpython版

Dockerとの比較

ホストのpythonを用いるので軽い
devcontainerを用いなくてもVSCodeが自動的に読み込んでくれる（後述の .vev ファイルが必要）
Pythonモジュール以外にインストールの必要がない場合はDockerより良さそう。

具体的な挙動

Pipfile に依存パッケージが記述される。 (package.json に該当)
Pipfile.lock に実際にインストールされたバージョンが記述される→環境による差異を防ぐ (package.lockやyarn.lockに該当)

↑これらをgitにコミットすることで環境を共有できる

インストール

pip install pipenv

pyenvとの連携が便利

主要コマンド

pipenv --python 3.8 # 初期化 pyenvが入っていると該当のpythonバージョンを読み込んでくれる。 (npm init)
pipenv install pandas # パッケージのインストール (npm install --save libname)
pipenv install black --dev # 開発用モジュールをinstall (npm install --save-dev libname)
pipenv sync --dev # Pipfile.lockからインストール（cloneしたら基本これ） (npm install)
pipenv install --dev # Pipfileを使ってinstall（Pipfileを手動で編集してパッケージを追加した場合に実行する）
pipenv shell # pipenvの環境内に入る（vscodeのターミナルなら自動で実行してくれる）

.venv の生成

VSCodeで補完を効かせるために必要

.bashrcや.bash_profile に記述。

export PIPENV_VENV_IN_PROJECT=true

参考

Among usで近くにいる人と通話できる「BetterCrewLink」の使い方

2021-08-27T12:08:59Z

Among usに特化した通話ツールで、Among usの部屋と連動して通話ができる。

会議中だけ生きている人全員で会話ができる
会議中以外はゲーム上で近くにいる人と通話ができる。
死んだ人の声は生きている人には聞こえない。

会議中以外

	近くにいる生きている人の声	近くにいる死んだ人の声	遠くにいる人の声
生きているクルーメイト	聞こえる	聞こえない	聞こえない
生きているインポスター	聞こえる	設定による	聞こえない
死んだ人	聞こえる	聞こえる	聞こえない

会議中

	生きている人の声	死んだ人の声
生きているクルーメイト	聞こえる	聞こえない
生きているインポスター	聞こえる	聞こえない (要検証)
死んだ人	聞こえる	聞こえる

リポジトリ

Githubで開発が行われており、使い方もGithubに書いてある。

設定方法

注意点: 少なくとも一人は「Windows版BetterCrewLink+Windows版 Among us」の組み合わせの人が必要。

Windows

以下から.exeファイルをダウンロードしてインストールできる。

Releases · OhMyGuus/BetterCrewLink

Windows版はPC上で起動しているAmong usを自動で認識し、自動的に接続される。

Android

Google Play Storeからダウンロードできます。

BetterCrewlink - Apps on Google Play

android版の詳細に関しては詳しくないのでわかりません。

その他

ブラウザ版を使用してください。

Among usアプリでのルーム参加に加え、BetterCrewLinkでのルーム参加が必要。

Among usを起動する端末とBetterCrewLinkを開く端末は同じでも異なっていても大丈夫。

よくあるトラブル

声が二重に聞こえる

イヤホンをしていない人がいる可能性がある。全員がイヤホンを装着するようにしてください。

他の人の声が聞こえない・自分の声が届かない

ブラウザ版であれば、マイクの使用が許可できているか確認する。リロードすると許可のポップアップが出ることがある。
別の端末・ブラウザを試してみるというのも手。

ブラウザ版で「Waiting for a PC user to respond」と表示され進まない

PC版のBetterCrewLinkを起動しているユーザーがいないか、その接続が悪い。

ブラウザ版で「Waiting for you to join with the name with XXX」と表示され進まない

Among usのアプリでルームに参加していなければする。
ルームIDまたはプレイヤー名が間違っている可能性がある。
プレイヤー名が日本語の場合うまくいかない可能性が高いのでアルファベットに変更する。
たまに名前を変えるとなおる。

特定の人の声がだけが聞こえない

Windows版・ブラウザ版ともにリロードすると治ることがある。

参考サイト

OhMyGuus/BetterCrewLink: Free, open, Among Us Proximity Chat

静的サイトジェネレータをHugoから11tyに変更した

2022-07-04T00:00:00Z

今までの問題点

本サイトは、今まで「ブログを移転しました」でも触れた通り、静的サイトジェネレータとしてHugoを利用していた。正確にはHugoのテーマの一つであるAcademicを使っていた。プロフィールとして必要な情報を埋めると綺麗に表示してくれる上、ブログ機能も付いていてちょうど使いやすいテーマであった。

しかし、今回はこのAcademicテーマを引退し、自分でhtml書くことにした。

これは主に以下の2つの問題が原因であった。

1. カスタムが難しい

Academicテーマはその名の通り研究者向けのテーマであるため、トップページにはプロフィールを表示することが想定されている。

指定されたファイルを記入することによって自動で表示されるようになっており、少ない手間できれいなプロフィールページを作成することができる。

例えばExperienceやPublicationなどのファイルに指定の方法で記入すると、一切htmlを書かずにプロフィールページを作ることができる。以下は経歴欄を設定する experience.md の一部の例である。

experience:
  - title:
    company: ○○大学○○○学科○○学部
    company_url: https://www.xxxxxxxxxx.ac.jp/
    company_logo:
    location:
    date_start: '20XX-04-01'
    date_end: ''
    description:
  ...

しかし、逆にhtmlの一部だけを書きかえることは難しい。もちろんレイアウトファイルを書きかえることで実現可能ではあるが、どのファイルを書きかえればよいかを調べるのは学習コストが高く感じた。今後少し書きかえたかい場合にも毎回レイアウトファイルをカスタムする必要がある。

htmlを書けるのであれば直接書いた方が効率的だと思い、自分でhtmlを書くことにした。

2. コンパイルが上手くいかない

どちらかというとこちらがメインの原因である。

Hugoはgo言語によって動いており、Academicテーマは go get によってインストールされている。一方でHugoはaptなどのパッケージマネージャーでインストールする形式を取っており、これらのバージョンが整合しないという問題が発生した。そのため手元のPCにおいて開発サーバーの起動やhtmlファイルの生成ができない状況になってしまった。

ウェブサイトはNetlifyのGithub連携によって自動ビルドしてホスティングしており、なぜかデプロイビルドは通っていた。ローカルではサーバーが起動しなくてもリポジトリにpushすれば反映されるという状況が続いており、しばらくはそのように更新していた。

しかし、ローカルで確認できないというのは少し複雑な編集を行なうには不便であり、またいつビルド環境が壊れてデプロイできなくなるかも分からず、不安であった。

そのため、今回の移行に踏みきった。

パッケージ選定

今回Hugoの依存関係によって苦労したため、今後はそのようなことが無いようにしたかった。

また本番サイトはJavaScriptを使わない、シンプルなhtmlにしたいとも思っていた。

これらを満たすものとして、今回はJavaScript製の軽量静的サイトフレームワーク、11tyを選択した。

11tyはただのhtmlテンプレートエンジンであり、JavaScriptなしのシンプルな静的サイトを作成するにはちょうどいいライブラリである。また、11tyはNodeにしか依存せず、インストールも付属するnpmによって行えるため、インストールに関しても問題が発生しなさそうであった。

11tyの詳細に関しては他のブログ記事に任せることとする。(追記するは可能性あり)

ディレクトリ構造がそのままurlのパスとなる仕様は移行前と同じであったため、記事の移行は簡単であった。

テーマ等を使わずhtml・CSSも1から書いているため、現在はシンプルなCSSしか書いていないが、今後適宜デザインを変更していく予定である。

AWSでminecraftサーバーを立てる (1.19)

2022-07-17T00:00:00Z

AWS EC2でminecraftのサーバーを構築した。遊ぶ時だけ起動する運用なら時間課金制のEC2は便利。

インスタンスの選択

今回は少人数でのプレイを想定していたため、 t3.meduim を選択。

インスタンスの作成からsshの設定までは省略する。

また、Security Groupを編集して25565番ポートを開けておく。

JDKのインストール

Minecraft server 1.19はJDK18を要求している。

今回はAWSが用意しているJDKディストリビューションであるAmazon Correttoを利用した。

sudo rpm --import https://yum.corretto.aws/corretto.key
sudo curl -L -o /etc/yum.repos.d/corretto.repo https://yum.corretto.aws/corretto.repo
sudo yum install -y java-18-amazon-corretto-devel

サーバーのインストール

今回はバニラサーバーではなく、modのインストールなどができる非公式のSpigotをインストールした。

インストール時にgitが必要になるのでこちらもインストールしておく。

sudo yum install -y git
wget https://hub.spigotmc.org/jenkins/job/BuildTools/lastSuccessfulBuild/artifact/target/BuildTools.jar
java -jar BuildTools.jar --rev 1.19

起動スクリプトの設定

起動用のシェルスクリプトファイルを作成する。

vi start.sh

start.sh に以下の内容を記入する。

#!/bin/sh
java -Xmx3500M -Xms2048M -jar /home/ec2-user/minecraft/spigot-1.19.jar nogui

chmod 755 start.sh
./start.sh

サーバーが起動すれば成功。 eula.txt の編集を求められる。

デーモン化

screen などを用いて永続化してもいいが、今回はインスタンスの起動時に自動で起動・クラッシュ時に自動で再起動するよう、 systemd に登録する。

sudo vi /etc/systemd/system/minecraft.service

[Unit]
Description = Minecraft server

[Service]
ExecStart = /home/ec2-user/start.sh
WorkingDirectory=/home/ec2-user
Restart = always
Type = simple

[Install]
WantedBy = multi-user.target

保存できたら、

sudo systemctl start minecraft

で起動確認をする。正常に起動できていれば、サービスを有効化する。

sudo systemctl enable minecraft

サーバーログは

systemctl status minecraft

で(一部)確認が可能。

Slack通知

起動前・終了時にSlackのimcoming webhookを用いて通知を送るため、 start.sh を以下のように編集したが、これは必須ではない。

EC2インスタンスから 169.254.169.254 にリクエストを送るとインスタンス情報が取得できるため、これを利用してIPアドレスを取得している。 ElasticIPを割り当てていない場合、毎回起動ごとにIPアドレスが変わるのでSlackで共有しておくと便利である。

#! /bin/sh
cd `dirname $0`

function notify_slack () {
  curl -XPOST -H Content-Type:application/json -d "{\"text\":\"$1\"}" <webhook url> >/dev/null 2>&1
}

function on_exit () {
  notify_slack "Minecraft server stopped\\nIP Address: \`$ip_addr\`"
}

ip_addr=`curl '169.254.169.254/latest/meta-data/public-ipv4/' 2>/dev/null`

notify_slack "Minecraft server starting\\nIP Address: \`$ip_addr\`"
trap on_exit EXIT

java -Xmx3500M -Xms2048M -jar /home/ec2-user/spigot-1.19.jar nogui | while read -r line
do
  echo $line
  if [[ $line == *joined\ the\ game* ]]; then notify_slack "$line"; fi
  if [[ $line == *left\ the\ game* ]]; then notify_slack "$line"; fi
  if [[ $line == *Done* ]]; then notify_slack "Server started!"; fi
done;

参考リンク

【Minecraft for AWS】 EC2インスタンスでMinecraftサーバーを構築 | DevelopersIO
[https://docs.aws.amazon.com/corretto/latest/corretto-18-ug/generic-linux-install.html#rpm-linux-install-instruct Amazon Corretto 18 Installation Instructions for Debian-Based, RPM-Based and Alpine Linux Distributions - Amazon Corretto 18]
SpigotMC - High Performance Minecraft
Minecraft のマルチサーバでログイン通知を Slack / Discord / LINE に送る | hgrs's Blog
シェルスクリプトでtry-catch-finallyを実装する方法 │ Web備忘録

ghとghq(+peco)で作る快適git環境

2023-03-15T00:00:00Z

紹介するもの

gh

GitHubの公式cliクライアント。少し前には hub とかあったけどもうghで十分。
gh repo view -w 現在のリポジトリをwebで表示
gh pr create 現在のブランチからpull-requestを作成
gh repo create リポジトリを作成
gh run watch 現在実行中のGithub actionsを表示・監視

ghq

gitでcloneしたフォルダをフォルダ管理してくれる優れもの。「あのフォルダどこにcloneしたんだっけ？」がなくなる。
- 「とりあえずリポジトリcloneして中見たい！」みたいなときにも考えることが減るのが良いポイント。
例えば https://github.com/ebiyuu1121/ebiyuu.com/ だったら自動的に ~/ghq/github.com/ebiyuu1121/ebiyuu.com/ にcloneされる。
- 上記の例だと ghq get -p ebiyuu1121/ebiyuu.com でcloneできる。
- 自分のリポジトリだったらユーザー名も省略できるので、 ghq get -p ebiyuu.com で十分。
各種コマンドもあり、例えば ghq list | ghq get --update --parallel でローカルの全リポジトリを最新状態にできます。
ghq-handbook が分かりやすいのでおすすめです。

peco

ghqでcloneしたフォルダに移動するときに、pecoでインタラクティブにリポジトリを選択するのが便利。
これに関しては設定して使ってみてください。

設定

書いてないOS・環境は公式サイト参照。

git

windows: scoop install git
ubuntu: sudo apt install git
mac: XCode command line toolsに付属

gh

windows: scoop install gh

ghq

goのインストール
- win: scoop install go
- ubuntu: sudo apt install golang
go install github.com/motemen/ghq

peco

windows: scoop install peco
ubuntu: apt install peco
mac: brew install peco

.zshrc

以下をzshrcに追記

ctrl + ] で起動してcdできます。

function peco-src () {
local selected_dir=$(ghq list -p | peco --query "$LBUFFER")
if [ -n "$selected_dir" ]; then
    BUFFER="cd ${selected_dir}"
    zle accept-line
fi
}
zle -N peco-src
bindkey '^]' peco-src

cliマネージャ "afx" を試す

2023-05-16T00:00:00Z

b4b4r07/afx: 📦 Package manager for CLIを使ってみる。

yamlファイルをもとに、宣言的にツールのインストールができるらしい。zplugの作者の作。現状では GitHub / GitHub Release / Gist / HTTP (web) / Local からのインストールに対応している。

インストール

Goで書かれている。 go install でもインストールできるようだが、インストールスクリプトが用意されていたので今回はそちらを試す。

curl -sL https://raw.githubusercontent.com/b4b4r07/afx/HEAD/hack/install | bash

実行したところ、インストールスクリプトが上手く動かなかったため、PRを出しておいた。(2023/5/18 追記: マージされた)

fix: fix install script by ebiyuu1121 · Pull Request #59 · b4b4r07/afx

また、コマンドを実行したところ設定ディレクトリが存在せず、エラーとなったため、 ~/.config/afx を作成した。

なお、エラーになるのは不自然だと思ったので、こちらもPull-requestを作成しておいた。(2023/5/18 追記: マージされた)

Create ~/.config/afx if not exist by ebiyuu1121 · Pull Request #60 · b4b4r07/afx

この後、 .zshrc に以下の2行を追記する。

# set up afx
type afx > /dev/null 2>&1 && eval "$(afx init)"
type afx > /dev/null 2>&1 && eval "$(afx completion zsh)"

2023/5/18 追記: 上記の設定では補完が出ないことが判明した。上の2行の下に以下を追加すれば無事補完が効いた(バグかも)

type afx > /dev/null 2>&1 && compdef _afx afx

neovimをビルドしてみる

以下のyamlを ~/.config/afx/github.yaml に配置する。

github:
- name: neovim/neovim
  description: Vim-fork focused on extensibility and usability
  owner: neovim
  repo: neovim
  branch: master
  with:
    depth: 1
  command:
    build:
      steps:
      - make CMAKE_BUILD_TYPE=RelWithDebInfo
    env:
      EDITOR: nvim
    alias:
      vi: nvim
    link:
      - from: build/bin/nvim

この状態で afx install を実行し、ビルドに成功した。

gitリポジトリは ~/.afx/github.com 以下に展開されていた。このうち、yamlの link で指定したバイナリが ~/bin へとリンクされていた。

パッケージの更新

NeovimのHEADを追いかけ続けるために、 afx update で最新にアップデートしたい。しかし、 afx update を実行しても git fetch をしている様子はなかった。

ソースを確認したところ、TOODコメントが記載されていた。今後の実装に期待、または自分で実装をしたい。

まとめ

ビルドの自動化ができて便利そうだった。今後はchezmoiとの連携、各種環境でのビルドに取り組みたい。

にしても、 afx は検索ノイズが多かった。

References

Nginxのproxy_passをS3のurlに設定すると404になる

2023-05-19T00:00:00Z

問題

AWS S3のstatic website hostingのurlに対して、nginxのリバースプロキシを設定しようとした。

nginxの設定は以下の通り。

    location / {
        proxy_pass http://<bucket-name>.s3-website-ap-northeast-1.amazonaws.com;
    }

すると、該当urlへのアクセスにより "Bucket not found" エラーが表示される。

解決策

プロキシ先に渡すHostヘッダーを再設定する。

     location / {
+       proxy_set_header Host http://<bucket-name>.s3-website-ap-northeast-1.amazonaws.com;
        proxy_pass http://<bucket-name>.s3-website-ap-northeast-1.amazonaws.com;
     }

S3側ではHostヘッダを見て返すリソースを判断しているようだ。

Dockerでminecraftを動かしてみる

2023-05-21T00:00:00Z

minecraftサーバーをdockerで立ててみる。

itzg/docker-minecraft-server を見つけたので使ってみる。

docker-compose.yml を記述する。

version: "3"

services:
  mc:
    image: itzg/minecraft-server
    ports:
      - 25565:25565
    environment:
      EULA: "TRUE"
      MEMORY: "4G"
    tty: true
    stdin_open: true
    volumes:
      - ./minecraft-data:/data

以下を実行したところ、エラーが発生して起動できなかった。

docker compose up

mc-test-mc-1  | [mc-image-helper] 06:24:30.358 ERROR : 'get' command failed. Version is 1.29.0
mc-test-mc-1  | java.net.UnknownHostException: launchermeta.mojang.com: Temporary failure in name resolution
mc-test-mc-1  |         at java.base/java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method)
mc-test-mc-1  |         at java.base/java.net.InetAddress$PlatformNameService.lookupAllHostAddr(Unknown Source)

                  (中略)

mc-test-mc-1  |         at picocli.CommandLine$RunLast.execute(CommandLine.java:2417)
mc-test-mc-1  |         at picocli.CommandLine.execute(CommandLine.java:2170)
mc-test-mc-1  |         at me.itzg.helpers.McImageHelper.main(McImageHelper.java:139)
mc-test-mc-1  | [init] ERROR: version lookup failed:
mc-test-mc-1 exited with code 1

DNSが解決できていないようなので、docker-composeでdnsを指定してなんとかする。

 version: "3"
 
 services:
   mc:
     image: itzg/minecraft-server
     ports:
       - 25565:25565
     environment:
       EULA: "TRUE"
       MEMORY: "4G"
     tty: true
     stdin_open: true
+    dns: 8.8.8.8
     volumes:
       - ./minecraft-data:/data

起動できた。

ECSでマイクラサーバーを立ててみる。

2023-05-22T00:00:00Z

「Dockerでminecraftを動かしてみる」の続き。

1. クラスターの作成

適当な名前で作成する。

2. タスクの作成

itzg/minecraft-server - Docker Image | Docker Hub を使う。

3. デプロイメントの作成

落ちた。

EULAをtrueに設定するのを忘れていたので、環境変数で EULA = true を設定して再度試す。

4. 起動確認

ログはCloudWatch Logsで確認できる。

起動していた。

接続できた。

ただし、VPCのsecurity groupを編集して TCP/25565 アクセスを許可する必要がった。今回はデフォルトVPCを使ったため戻したが、実際は専用のVPCを作った方がよいのかも。

これはちょっと調べる。

これからやりたいこと

Volumeを使ってセーブデータを永続化する
Lambdaを使って起動・終了をする
Public IPにDNSを割り当てる

References

Keyball61を組んだ

2023-06-06T00:00:00Z

トラックボール付き分割キーボードであるところのKeyball61を購入したので組み立てた。

要約すると、

トラックボールを買え
キースイッチは予備を買っておけ
Pro Microの向きには気をつけろ

材料の調達

「自作キーボード」なので、もろもろのパーツを買って組み立てないといけない。

必要な部品のリストは遊舎工房のページやビルドガイドに書いてある。

キースイッチ

とりあえず初心者は赤軸、という記事を見かけたのと、ミーティング中にうるさくないキーボードがほしかったので、 Cherry MXのピンク軸を購入。

気に入らなかったら交換すればいいやというのと、どうせ長く使わないと実際に使用感は分からないと思ったため、特に比較せず購入。

親指はロープロの赤軸のキースイッチを採用。

キーキャップ

刻印ありのPBTキーキャップ一式と、特殊キー用のDSA無刻印を購入。

DSAとPBTの違いが分からず買ったので、いずれ統一しないといけない。

特殊キーはどうせすぐキーマップが変わると思ったので、無刻印にした。キーマップが固まったらオーダーメイドで何か刻印してもいいかな。

トラックボール

買い忘れたので自宅にあったMX ergoから羅生門した。

組み立てで詰まったところ

Pro Microの向きを間違えた

Pro Microは部品面が下。ちゃんとビルドガイドを見よう。

キースイッチの足が折れた (x3)

特定のキーが反応しなかった。キースイッチを引き抜いてみたところ、足が曲がっていた。新しいキースイッチに交換して対応した。

キースイッチの予備はあったほうがいい。

キーソケットのハンダ付け不良 (x1)

キーソケットのハンダ付け不良が1箇所あった。温め直してハンダを流し込んで修正。

逆に1箇所しかなかったのは少なくて意外だった。

Pro Microの接触不良 (x2)

Row 4が左右ともに反応しなかったので、ProMicroの接触不良を疑った。実際にテスターを当ててみたら導通していなかった。差し直したら直った。ソケットの信頼性に若干の不安。

キーマップ

キーマップは試行錯誤中なので、いずれ。

References

keyball61のキーマップが固まってきた

2023-07-15T00:00:00Z

Keyball61を組んだのつづき。

いろいろと試行錯誤してキーマップが固まってきたので紹介する。

キーマップ

Remapでキーマップしていたが、キーマップが固まってきたのでQMK firmwareでキーマップを定義してみた。

keymap.c

Layer1: テンキーレイヤ
Layer2: マウス用レイヤ
Layer3: カーソル用レイヤ

のイメージで組んでいる。

ポイントとしては

スクロールはLayer3に割り当てている。
vimmerなので左手親指にescキーを置いている
右手の親指にはBackspace/Enterを置いている。誤爆すると怖いキーなのでLong tapキーは入れていない
右下に - キーを置いている(指じゃなくて手のひらで押す)
片手でマウスを操作するために、右下にLayer2/3のキーを置いている。
Layer2に ctrl ( + shift ) + tab を置いて、ブラウザ等のタブ切り替えが楽にできるようにしている
数字を楽に入力したいので、テンキーレイヤを用意
- Layer2に置いている左手テンキーはいま実験中。左手テンキーで慣れればLayer1を削除できる
Layer3の左側にトラックボール関係の調整キーを導入

const uint16_t PROGMEM keymaps[][MATRIX_ROWS][MATRIX_COLS] = {
  [0] = LAYOUT_universal(
    KC_ESC   , KC_1     , KC_2     , KC_3     , KC_4     , KC_5     ,                                  KC_6     , KC_7     , KC_8     , KC_9     , KC_0     , KC_EQL   ,
    KC_TAB   , KC_Q     , KC_W     , KC_E     , KC_R     , KC_T     ,                                  KC_Y     , KC_U     , KC_I     , KC_O     , KC_P     , KC_BSLS  ,
    KC_LCTL  , KC_A     , KC_S     , KC_D     , KC_F     , KC_G     ,                                  KC_H     , KC_J     , KC_K     , KC_L     , KC_SCLN  , KC_QUOT  ,
    KC_LSFT  , KC_Z     , KC_X     , KC_C     , KC_V     , KC_B     , KC_LBRC  ,            KC_RBRC  , KC_N     , KC_M     , KC_COMM  , KC_DOT   , KC_SLSH  , MO(3)    ,
    _______  , _______  , KC_LALT  , KC_LGUI  ,MO(1), LT(2,KC_SPC), LT(3,KC_ESC),           KC_BSPC  , KC_ENT   , _______  , _______  , _______  , _______  , LT(2, KC_MINS)
  ),

  [1] = LAYOUT_universal(
    _______  , _______  , _______  , _______  , _______  , _______  ,                                  _______  , _______  , _______  , _______  , _______  , _______  ,
    _______  , _______  , KC_7     , KC_8     , KC_9     , _______  ,                                  _______  , KC_7     , KC_8     , KC_9     , _______  , _______  ,
    _______  , _______  , KC_4     , KC_5     , KC_6     , _______  ,                                  _______  , KC_4     , KC_5     , KC_6     , _______  , _______  ,
    _______  , KC_0     , KC_1     , KC_2     , KC_3     , _______  , _______  ,            _______  , KC_0     , KC_1     , KC_2     , KC_3     , KC_DOT   , _______  ,
    _______  , _______  , _______  , _______  , _______  , _______  , _______  ,            KC_BSPC  , KC_ENT   , _______  , _______  , _______  , _______  , _______
  ),

  [2] = LAYOUT_universal(
    _______  , KC_F1    , KC_F2    , KC_F3    , KC_F4    , KC_F5    ,                                  KC_F6    , KC_F7    , KC_F8    , KC_F9    , KC_F10   , KC_F11   , 
    _______  , _______  , KC_7     , KC_8     , KC_9     , _______  ,                                  _______  , _______  , _______  , _______  , _______  , KC_F12   ,
    _______  , _______  , KC_4     , KC_5     , KC_6     , _______  ,                                  _______  , KC_BTN1  , KC_BTN3  , KC_BTN2  , _______  , _______  ,
    _______  , KC_0     , KC_1     , KC_2     , KC_3     , _______  , _______  ,             _______ , _______  ,RCS(KC_TAB), _______ , C(KC_TAB), _______  , _______  ,
    _______  , _______  , _______  , _______  , _______  , _______  , _______  ,             KC_BTN4 , KC_BTN5  , _______  , _______  , _______  , _______  , KC_GRAVE
  ),

  [3] = LAYOUT_universal(
    _______  , _______  , _______  , _______  , _______  , _______  ,                                  _______  , _______  , _______  , _______  , _______  , _______  ,
    _______  , _______  , _______  , _______  , _______  , _______  ,                                  KC_HOME  , KC_PGDN  , KC_PGUP  , KC_END   , _______  , _______  ,
    _______  , _______  , CPI_D1K  , CPI_D100 , CPI_I100 , CPI_I1K  ,                                  KC_LEFT  , KC_DOWN  , KC_UP    , KC_RIGHT , _______  , _______  ,
    _______  , _______  , _______  , SCRL_DVI , SCRL_DVD , _______  , KBC_SAVE ,            KBC_RST  , _______  , _______  , _______  , _______  , _______  , _______  ,
    _______  , _______  , _______  , _______  , _______  , _______  , _______  ,            KC_DEL   , KC_ENT   , _______  , _______  , _______  , _______  , _______
  ),
};

Automatic Mouse Layer

結果的に導入しなかったが、記録として残しておく。

かみだいさんのファームウェアが有名。
QMKのファームウェアを0.19以上に上げることで公式での対応が可能(参考)

今回は後者をやってみた。

結果的に、誤爆が頻発したのでやめた。

テンティング

キーマップとは直接関係ないけど前書き忘れたので。

Amazonで売っていたタブレットスタンドを2つ買ってみた。

0度・30度・60度どれもそれぞれよさそうだった。

References

キー入力一発でDiscordのマイクミュートをするi3wmの設定d

2023-07-18T00:00:00Z

通話をしている時に、マイクミュートにすぐしたいタイミングというのは定期的に発生する。

今回は、Linuxのタイル型居ウィンドウマネージャーのi3wmを使って、 Discord上にフォーカスが当たっていなくてもキー入力一発で Discordのミュート・ミュート解除ができるようにする。

環境

Ubuntu 20.04
i3 version 4.22

xdotool の導入

今回は、 discordアプリに ctrl + shift + m のキー入力を送ることでミュートを行う。

Linux上で、特定のwindowにキー入力を送ることができる xdotool をインストールする。

sudo apt install xdotool

設定

~/.config/i3/config 内に以下を記入する。

# mute/unmute on discord
bindsym $mod+m exec xdotool search --onlyvisible --name discord windowactivate --sync key --clearmodifiers ctrl+shift+m

この状態で super + m を入力すると、Discordのウィンドウがアクティブになってミュートされる。

まとめ

便利になった。 Linux+i3を使っていると、このような設定が簡単にできるのがとてもよい。

もちろんこの方法は他のソフトでも可能なので、便利な設定を探していきたい。

References

Django Rest Frameworkでget_objectをオーバーライドする時はget_object_permissionに注意

2023-08-25T00:00:00Z

Django Rest Frameworkで以下のようなコードを書いていたが、Owner以外でもアクセスできしまうというバグが発生した。

class IsOwner(BasePermission):
    def has_permission(self, request, view):
        return request.user.is_authenticated

    def has_object_permission(self, request, view, obj):
        return obj.owner == request.user

class MyDetail(RetrieveAPIView):
    serializer_class = MySerializer
    permission_classes = [IsOwner]
    parser_classes = [JSONParser]

    def get_object(self):
        obj = get_object_or_404(MyModel, id=self.kwargs["id"])
        return obj

調べてみると、そもそも has_object_permission が呼び出されていない。

原因

調べてみると、 get_object をoverrideした場合は has_object_permission は呼び出されない仕様のようだ。 Django Rest Frameworkのドキュメントにも以下のような記述がある。

If you're writing your own views and want to enforce object level permissions, or if you override the get_object method on a generic view, then you'll need to explicitly call the .check_object_permissions(request, obj) method on the view at the point at which you've retrieved the object.

解決策

上記の通り、 check_object_permissions を明示的に呼び出す。

 class IsOwner(BasePermission):
     def has_permission(self, request, view):
         return request.user.is_authenticated
 
     def has_object_permission(self, request, view, obj):
         return obj.owner == request.user
 
 class MyDetail(RetrieveAPIView):
     serializer_class = MySerializer
     permission_classes = [IsOwner]
     parser_classes = [JSONParser]
 
     def get_object(self):
         obj = get_object_or_404(MyModel, id=self.kwargs["id"])
+        self.check_object_permissions(self.request, obj)
         return obj

テストを書いていたから気付けたものの、普通に危ない仕様。

References

NETGEAR アンマネージドプラススイッチのWeb UIにアクセスすると拒否される問題の解決ログ

2023-10-16T00:00:00Z

結論

MTU=1500に設定する必要がある。

状況

NETGEAR アンマネージドスイッチ (GS308E・GS108PEv3) にWebブラウザのUIでアクセスしようとしたところ、 "Connection Refused" と表示されてアクセスできない。 curlコマンドでもNG。pingは通る。

LAN内の他のPCでWebブラウザでのアクセスを試したところ、接続できた。

解決策

PC側のMTU設定を1500に変更したところ、正常に接続することができた。

nmcliでの設定例

(nmcliをつ)

nmcli con modify etherner1 802-3-ethernet.mtu 1500
nmcli con down etherner1
nmcli con up etherner1

MTUまわりの実験をした後に設定を戻していなかったので設定が変わっていたのが原因。

スイッチがMTU=1500しかサポートしておらず、それ以外に設定されている場合はTCPの接続を確立しない実装になっているっぽい。 (SYNパケットを送ると、ACK/RSTが返ってくる。) そんな実装ありかよ……

参考

Re: GS108PE Web access refused - NETGEAR Communities

ECSでマイクラサーバーを立ててるデータ永続化編

2023-12-04T00:00:00Z

「ECSでマイクラサーバーを立ててみる。」の続き。

今まではコンテナ内部にデータを保持していたため、コンテナを停止するとセーブデータが削除されるようになっていた。

サービスを起動する

しばらく起動していなかったが、前回のタスク定義が残っていたため、それを利用してサービスを立ち上げるだけ。

EFSをつくる

EFSを使う。 EFSは(TODO)。

ボリュームマウントする

itzg/docker-minecraft-server の説明によると、コンテナの /data にマウントすればよい。

これからやりたいこと

サーバーコマンドの実行
Lambdaを使って起動・終了をする
Dynamic DNS化

References

Data directory - Minecraft Server on Docker (Java Edition)

ECSでマイクラサーバーを立てるサーバーコマンド実行編

2023-12-05T00:00:00Z

「ECSでマイクラサーバーを立てるデータ永続化編」のつづき。

op権限を付与するために、コンテナの中でサーバーコマンドを実行したい。

Sending commands - Minecraft Server on Docker (Java Edition) を参考にすると、docker execができればよい。今回はECS Execを使ってFaragateコンテナ内で実行する。

aws cli・session mangager pluginを入れる

aws cliを入れておく。

session manager pluginを入れる

AWS CLI 用の Session Manager プラグインをインストールする - AWS Systems Manager

curl "https://s3.amazonaws.com/session-manager-downloads/plugin/latest/ubuntu_64bit/session-manager-plugin.deb" -o "session-manager-plugin.deb"
sudo dpkg -i session-manager-plugin.deb

ecsにIAMポリシーを付与する。

以下のIAMポリシーを付与したロールを、ECSタスク定義のタスクロールに付与する。

タスク実行ロール ではなく タスクロール なので注意。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "ssmmessages:CreateControlChannel",
        "ssmmessages:CreateDataChannel",
        "ssmmessages:OpenControlChannel",
        "ssmmessages:OpenDataChannel"
      ],
      "Resource": "*"
    }
  ]
}

作成したポリシー

作成したロール

ロールをECSのタスク定義に割り当て。

コマンドを実行する。

aws ecs execute-command --region ap-northeast-1 --cluster <クラスター名> --task <タスク定義id> --container minecraft --interactive --command rcon-cli

→これを実行するとシェルに入ることができる。

References

自宅の3Dプリンターまわりの知見まとめ 2023年度版

2024-01-08T00:00:00Z

自宅で使っている3Dプリンターの環境や設定などをまとめる。

本体まわり

手軽なEnder3。24,900円(2024/1時点)。

Creality Ender 3

デフォルトで付属している制御基板だと、ステッピングモーターのノイズ音が(想像の10倍くらい)うるさい。市販のサードパーティーの制御基板に換装する。

ベッドはマグネット式を採用。ベッドの上だけが外れるので、ベッドを曲げることで簡単に印刷物を剥がすことができる。

Creality マグネットシート 235x235mm ソフト磁気印刷ベッド Ender 3 / Ender 3 V2 / Ender 3 S1

剥がれないときは無理矢理剥がす必要があるが、付属のスクレイパーだと、厚みがありすぎてうまく剥がせないし怪我をして危ない。

シールはがし用のカッターがいい感じ。

ニトムズテープはがしカッター

スライサー

Ultrimaker Cura。基本的にデフォルトの設定でうまく印刷できる。brimも付けなくてOK。

積層ピッチは0.2mmか0.26mmを普段は使う。

移動速度2倍くらいまでなら見た目の品質劣化はなさそうに見える。 3倍くらいだと多少の乱れは見えるものの、1mm精度程度であれば十分出るので、おおまかなプロトタイプならそれでもOK。

フィラメント

このへんは問題なく使えた。設定もCuraデフォルトのものでOK。

インサートナット

3dプリンタ成形物に、ナットを溶かし入れることで、2つ以上の部品を組み合わせて作ることができる。手軽なのでちょくちょく活用している。

参考: 【3Dプリンタ】PLA造形物に熱圧入で簡単にネジをつくる方法 – まにあふぁくとりー

用意したもの

uxcell ローレットインサートナット M3 x 4mm L x 5mm
はんだごてを活用して圧入する。通常のはんだごてでも可能がだが、安定しやすくて熱が伝わりやすい専用のコテ先もある。普段はこれを使っている。
- hineNow ヒートセットインサートチップ
- 白光(HAKKO) ダイヤル式温度制御はんだこて FX600-02

条件 (M3の場合)

穴径：外径+0.05mm → 5.05mm
穴深さ：全長+0.1mm → 4.1mm
入口に面取り0.5mm
- 安定して圧入するには、面取りが重要。
こての温度270度か320度
- 少し足りないかな？くらいの低めの温度で、ゆっくり溶かしてゆっくり圧入するのがコツ。

ネットワークプリント

SDカードの抜き差しをしなくてよいよう、 OctoPrintを利用してネットワーク経由で印刷できるようにしている。

専用のラズパイイメージ "OctoPi" を活用。ラズパイをEnder3に接続して制御している。 Raspi Imagerからイメージを焼くことができる。

TODO

オートレベリング用のセンサを買ったけど手をつけられていないので試してみたい。
- Creality CR Touch 自動ベッドレベリングセンサーキット 3Dプリンターベッドレベリングツール金属プッシュピン付き Ender 3/Ender 3 V2/Ender 3 Pro/3 Max/Ender 5 pro/CR-10用 32 ビット V4.2.2/V4.2.7 メインボード付き : DIY・工具・ガーデン
Creality K1 を試してみたい。

Keyball44を組み立てた

2024-05-09T00:00:00Z

Keyball44を組み立てたので紹介。実は結構前に組み立てたのだが、記事にしていなかったので書いておく。

前回の反省と今回の方針

Keyball61を組んだときの反省を活かす。

ProMicroのソケットの接触不良があったため、今回はソケットを使わず直接ハンダ付けする。
前回は親指ロープロ仕様で組んでいたが、押しづらかったので通常のキースイッチを使う。
静音キースイッチを使っていたがせっかくのメカニカルなのでクリック音がする青軸を選択。
- 自宅で使うので音は気にせず、気持ちよさを優先。

パーツ

Pro Micro Type-C版
- Type-C版を選択。
キースイッチ: Cherry MX Blue
キーキャップ: DSA無刻印鉛
- キー割り当てがどうせ変わるので無刻印を選択。
TRSケーブル
- いろいろ試したが、60cm&L字のものが最も快適だった。

完成

キーマップ

結構使って固まったキーマップ。

Remap: v1.3

想定環境

windows・US キーボード
CorvusSKKを用いているのでIME切り替えキーは置いていない。

レイヤ構成

Layer	Function	Scroll
L0	Main Layer	Off
L1	テンキー + 記号	Off
L2	マウス + ファンクションキー	Off
L3	カーソル + キーボード設定	On

L0

Escは親指の押しやすい場所に置いている（vimを使うため。）

こだわりポイント

右にもレイヤ切り替えのキーを用意し、右手だけでマウス操作ができるようにしている

L1: テンキーLayer

L0に収まらなかった記号キーも置いている。 Shift+数字で入力する記号はこのレイヤ+shift で入力する

L2: マウスレイヤ

ファンクションキーも置いている。

こだわりポイント

Ctrl+tabとCtrl+Shift+Tabをマッピングすることで、ブラウザ等でのタブ切り替えを素早く行うことができるようにしている。
右親指キーにMouse Button4/5（進む・戻るボタン）を割り当てている。

L3: カーソルレイヤ

カーソルキーはvimキーバインドと同じになるように hjkl に割り当ててある。 deleteキーもこのレイヤに置いている。左側にはキーボード設定用のキーも置いている

LaTeX初心者にこそ教えたい、ちょっとLaTeX便利にするtips

2024-10-03T00:00:00Z

使い方わかってきたなーくらいの人向けのtips

siunitxを使おう(必須)

単位は斜体にせず、数値と単位の間にスペースを入れるのが一般的。これを手でやろうとすると面倒だし、ミスのもととなるので、siunitxを使おう。

使い方

プリアンプルに\usepackage{siunitx} を書く。
例えば、 "1um" と出力したい時は、 $\SI{1}{\micro\meter}$ と書く。
単位だけ出したい場合は小文字の \si を使う。例: $\si{\micro\meter}$

Overleafを使おう(推奨)

ブラウザさえあればどこでも編集ができる・共同編集ができる
fast compileを活用すると便利
- 画像が表示されない代わりにコンパイルが早くなる
卒論の時期とか論文の締め切り直前は落ちがちなので定期的にバックアップを取っておく
- 課金する余裕があればgithub連携がおすすめ（履歴も管理できるしバックアップになる）
- 余裕があれば手元にもビルド環境を用意しておこう

日本語の出し方

日本語を含む文書をタイプセットするために、platexを用いる。コンパイラは "LaTeX" を選択しておき、 latexmkrc を用意しておく。

.
├── main.tex
└── latexmkrc

latexmkrc には以下の内容を書いておく。

$latex = 'platex';
$bibtex = 'upbibtex';
$dvipdf = 'dvipdfmx %O -o %D %S';
$makeindex = 'mendex -U %O -o %D %S';
$pdf_mode = 3;

これで日本語の文書をコンパイルできるようになる。

cf. 【必見】Overleafの使い方（日本語入力も解説・bibファイル）｜努力のガリレオ

subfilesを使おう(推奨)

論文とかは往々にして長くなりがち→コンパイルにも時間がかかる
本文を書く場合、今書いているところだけコンパイルできればよい
一方で、全体の配置を見たいので全体でもコンパイルできるようにしたい
章ごとにファイルを分割し、 main.tex ではそれを import することができる
- 章のファイルをコンパイルすればその章だけのコンパイルが可能
- main.tex をコンパイルすれば全体の完成系を見ることができる

使い方

章ごとのファイルと、 main.tex を作成する

.
├── main.tex
└── src
    ├── 1_introductin.tex
    ├── 2_method.tex
    ├── 3_result.tsx
    └── 4_discussion.tex

main.tex にはこれを書いておく

% ....
\usepackage{subfiles}

\begin{document}
% ....
\subfile{src/1_introductin.tex}
\subfile{src/2_method.tex}
\subfile{src/3_result.tsx}
\subfile{src/4_discussion.tex}
% ....
\end{document}

章ごとのファイルにはこれを書いておく

\documentclass[../main]{subfiles}
\begin{document}
\end{document}

プリアンプルは勝手に main.tex のものを引っ張ってきてくれる

bibtexは文献管理ツールを使おう(推奨)

bibtexを手書きするのは大変
だいたいの文献管理ツールはbibtexを書き出すことが可能
課金していればmendeley連携も可能
例) zoteroからも書き出したもの
- bibtexは複数ファイルを使えるので、文献管理ツールで生成するものと自分で管理するもの（ウェブサイト）を分けておくと管理が楽。

todoマクロを使う(気に入ったら使ってみてね)

自分がやっている内容。

\usepackage{color}
\newcommand\todo[1]{\PackageWarning{Todo}{Detection TODO:#1}\textcolor{red}{// TODO: #1}}

とプリアンプルに書いておいて、

\todo{ここ後でなおす}

のように使う。

このように本文中に表示される。

warningにも表示されるので、コンパイル時に気づきやすい。

latexdiff(名前だけ覚えておこう)

texファイルの変更差分を含めた形でpdfにしてくれる
論文のrevise時などに便利
使い方は省略
- overleafでも使えるらしい、試したことないけど
  - How to use latexdiff on Overleaf - Overleaf, Online LaTeX Editor

References

ECS のタスク定義を terraform で管理しつつ、Github Actions でコンテナを更新する

2024-10-03T00:00:00Z

ECSのタスク定義はterraformから定義できる。

# ECS Service
resource "aws_ecs_service" "app" {
  name            = "${local.prefix}-app"
  cluster         = aws_ecs_cluster.this.id
  task_definition = aws_ecs_task_definition.app.arn
  desired_count   = 1
  launch_type     = "FARGATE"

  ...
}

# ECS Task Definition
resource "aws_ecs_task_definition" "app" {
  family                   = "${local.prefix}-app"
  cpu                      = "1024"
  memory                   = "2048"
  ...

  container_definitions = jsonencode([
    ...
  ])
}

一方で、CI/CDを導入すると、Github Actionsなどでタスク定義を更新することがある。

新しくコンテナをpushした場合、そのタグに合わせてタスク定義を更新する必要がある。

この時、どのようにタスク定義を管理するかが課題となる。

例えば、Github Actionsでタスク定義を更新した場合、terraformで管理しているタスク定義との差異が生じる。
この差異をどのように解消するかが課題。

よくあるパターン

パターン1: Github側でタスク定義を指定

例: ecspresso利用を考慮したTerraformのECS(Fargate)構築 - Zenn

タスク定義をGithubのリポジトリに記述し、Github Actionsでタスク定義を更新する
terraform側では管理しない
terraformの変数をタスク定義に埋め込む形がやりづらい
- 環境変数など
インスタンスサイズなど構成を変更するときに、terraform側からタスクを更新することができない
- Github Actionsでタスク定義を更新する必要がある
- インフラの変更とアプリケーションの変更が分離される

パターン2: latestデプロイ

タスク定義はterraformで定義し、latestタグを使ってデプロイする
Github Actionsからのデプロイではlatestタグへのpushを行い、ECSの再デプロイを行うことで最新のコンテナをデプロイする
この場合、latestタグを使うため、どのコンテナがデプロイされているかがわかりにくい
- あなたの組織に最適なECSデプロイ手法の考察 | DevelopersIO にてアンチパターンとして紹介されている

今回のパターン

できるようにしたいこと

タスク定義はTerraform側で管理、applyした時にちゃんと変更が効く
Github Actions側からもコンテナを更新でき、terraform側からの最新のタスク定義が反映される

Terraform側: latest指定で最新のコンテナを使ったタスク定義

Terraformで構築したECSをCodePipeline等でローリング更新するとタスク定義のリビジョンがずれる問題をdataを使って回避する | DevelopersIO の方式を活用。

dataを利用すると、最新のタスク定義を参照することができる。

terraform定義を以下のように変更する。

  # ECS Service
  resource "aws_ecs_service" "app" {
    name            = "${local.prefix}-app"
    cluster         = aws_ecs_cluster.this.id
-   task_definition = aws_ecs_task_definition.app.arn
+   task_definition = data.aws_ecs_task_definition.app.arn
    desired_count   = 1
    launch_type     = "FARGATE"

    ...
  }

  # ECS Task Definition
  resource "aws_ecs_task_definition" "app" {
    ...
  }

+ data "aws_ecs_task_definition" "app" {
+   task_definition = aws_ecs_task_definition.app.family
+ }

Github側: 最新のタスク定義をawsから取得し、コンテナタグを更新してデプロイ

最新のタスク定義は、aws cliで取得できる。

aws ecs describe-task-definition \
   --task-definition my-task-definition-family \
   --query taskDefinition > task-definition.json

https://github.com/aws-actions/amazon-ecs-deploy-task-definition

落としてきたタスク定義のイメージタグだけを更新して、再度デプロイする。

Github Actionsで aws-actions/amazon-ecs-render-task-definition を利用すると、タスク定義のjsonを更新することができる。

ビルドしたイメージは、 latest タグにもpushしておく

terraform側でタスク定義を更新した場合は latest タグを参照するため、最新のコンテナがデプロイされる。

これらをGithub Actionsのworkflowに記述すると以下のようになる。

- name: Build and push docker container
  run: |
    docker build -t app .
    docker tag app:latest ${{secrets.AWS_ECR_REPOSITORY_URI}}:${{github.sha}}
    docker tag app:latest ${{secrets.AWS_ECR_REPOSITORY_URI}}:latest
    docker push ${{secrets.AWS_ECR_REPOSITORY_URI}}:${{github.sha}}
    docker push ${{secrets.AWS_ECR_REPOSITORY_URI}}:latest
# deploy to ECS
- name: Get latest ECS task definition
  run: aws ecs describe-task-definition --task-definition ${{ secrets.ECS_TASK_DEFINITION }} --query taskDefinition > task_definition.json
- name: Render task definition
  id: render_task_definition
  uses: aws-actions/amazon-ecs-render-task-definition@v1
  with:
    task-definition: task_definition.json
    container-name: app
    image: ${{secrets.AWS_ECR_REPOSITORY_URI}}:${{github.sha}}
- name: Deploy to ECS (Update task definition)
  uses: aws-actions/amazon-ecs-deploy-task-definition@v1
  with:
    task-definition: ${{steps.render_task_definition.outputs.task-definition}}
    service: ${{secrets.ECS_SERVICE_NAME}}
    cluster: ${{secrets.ECS_CLUSTER_NAME}}
    wait-for-service-stability: true

困る点

terraform定義から料金を計算してくれる infracost が、正しく料金を計算してくれない。

terraformの定義としては data で参照しているだけで、実際にはタスク定義が存在しない。
そのため、CPUやメモリの値が取得できず、料金計算ができない。
一回計算を行うだけであれば、計算する時だけdataを用いないように書き換えればよいが、CI/CDで毎回計算するような場合は困る。

References

DuckDuckGo - プライバシーだけじゃない、エンジニアにおすすめの検索エンジン

2024-10-10T00:00:00Z

DuckDuckGo は、プライバシーを重視した検索エンジンとして知られている。

トラッキングをしない
ターゲティング広告なし
位置情報を使わない

そのため、最初はプライバシーを重視する人が使う検索エンジンとして認識していたが、興味本位で使ってみたところ最近は完全に DuckDuckGo を常用するようになってしまった。

DuckDuckGo は単純に検索エンジンとして使い勝手がよく、特にエンジニアが好みそうな機能も多いためである。この記事ではそれらの機能を紹介する。

仕様頻度順に紹介する。

ショートカットキー

検索結果画面にショートカットキーが設定されているため、キーボードだけで検索結果の操作ができる。

j/↓ k/↑ で検索結果を選択できる
Enter / o / l → 開く
v → 別タブで開く
Cmd+Enter (mac) / Ctrl+Enter (win) → 別タブで開く（バックグラウンド）
/ で検索バーにフォーカスできる
d 選択したドメインでドメインサーチ
t 最上部へ移動

言語での絞り込みが楽

言語設定をしておくと(デフォルトではブラウザの言語が使われる)、検索結果がその言語に合わせて表示される。

言語フィルタのあり・なしをスイッチで簡単に切り替えることができる。

↓

[神] "Bang" サーチ

検索結果のに !{keyword} をつけて検索することで、外部サイトで検索することができる。これが一番便利。

よく使う例:
- 「!gmap 渋谷」 → Google Map で「渋谷」と検索
- 「!a 洗剤」→ Amazon で「洗剤」を検索
- 「!yt 可愛い猫」 → YouTube で「可愛い猫」を検索
- 「!w 山手線」 → Wikipediaで「山手線」を検索
  - ちなみに言語はDuckduckgoの設定に準拠、デフォルトではブラウザの設定言語
- !x → twitter(x)
- エンジニアにとっても便利。
  - !py3 → python documentation, !pip → pypi, !docker → docker hub, !gh → github
研究者向け (2025-11-05 追記)
- !scholar → google scholar, !pubmed → pubmed
- !doi <doi> → doi.org経由で直接文献を開くことができる
必ずしも先頭である必要はなく、最後でも良いし、なんなら途中でも良い。
クエリを入れずにbangを実行するといい感じにトップページに移動してくれるので、簡易的なブックマークとしても使える
- 「!a」→amazonのトップページなど
bangの一覧は DuckDuckGo !Bangs で参照することができる。

ツールもいろいろついている

これはGoogleでもある、検索するとそれに応じたツールが表示されるやつ

電卓

単位換算

QRコード生成

UUID生成

カラーコードプレビュー

基数変換

base64 encode/decode

まとめ

かゆいところに手が届く

References

pecoが文字化けする問題

2024-11-06T00:00:00Z

バグを引いたので記録用に

2024/11/6現在
Ubuntu24.04にて、aptでインストールしたpecoにて発生。

peco を実行すると "?????????" と表示され、画面表示が崩れる。

同様の現象は発生していて、aptパッケージが壊れているらしい。

cf. Ubuntu24.04 LTSにpecoをインストールしたら文字化けしたが、apt経由ではなく直接githubから落とすことで文字化け解消できた

GitHub から直接入れる。今回はgoが入っていたので go install で入れる。

go install github.com/peco/peco/cmd/peco@latest

にて解決。

releaseからバイナリを落としてきてもいいらしい。

References

cf. Ubuntu24.04 LTSにpecoをインストールしたら文字化けしたが、apt経由ではなく直接githubから落とすことで文字化け解消できた

ESP32のADCで連続読み出しをする

2025-07-23T00:00:00Z

ESP32のADCは、シングル読み取りモード（通常の analogRead ）の他に連続読み出しモードがある。 ADC側で一定周期でサンプリングを実施してくれるモードであり、今回はサンプリング間隔を一定にしたかったため利用した。

開発には PlatformIO + Arduino core を利用している。

概要をつかむ

ADC API ドキュメントを参照しながら実装する。

analogContinous() で初期化
- sampling_freq_hz サンプリング周波数、最終的に出力されるデータ
- conversions_per_pin 上のサンプリング周波数の~~1周期あたり、何回計測を行うか~~何回分をまとめて1つのデータとするか
analogContinuousStart() で連続読み出しを開始
analogContinuousRead() で計測した値を読み出す
- 第二引数でタイムアウトを指定 (ms)
- データが読み出せれば true 、タイムアウトが発生すれば false が返される。

スケッチ例は以下のようになる。以下の例では sampling_freq_hz = 1000 、 conversions_per_pin = 20 なので、 ~~1kHzでSerial.println が呼ばれ、またそれぞれの計測では20回のサンプリングが実施されておりその平均が出力される。~~ Serial.println は 1000/20 の 50 Hzで呼ばれる。

7/24 追記 conversions_per_pin について誤解していたので修正

void setup() {
  Serial.begin(115200); // Initialize the serial port

  pinMode(A0, INPUT);  // Set pin A0 as input
  
  uint8_t pins[] = {A0};  // Define the pins to read
  size_t pinCount = sizeof(pins) / sizeof(pins[0]);
  uint32_t conversions_per_pin = 20;  // Set the number of conversions per pin
  uint32_t sampling_freq_hz = 1000;  // Set the sampling frequency in Hz

  // Start continuous analog reading
  analogContinuous(pins, pinCount, conversions_per_pin, sampling_freq_hz, NULL);
  analogContinuousStart();

  Serial.println("ADC initialization completed.");
}

void loop() {
  adc_continuous_data_t *buffer = nullptr;  // Buffer to hold ADC data

  if (analogContinuousRead(&buffer, 1000)) {
    // Read the latest data from the buffer
    adc_continuous_data_t *data = &buffer[0];

    Serial.println(data->avg_read_mvolts);
  }
}

なお、周波数指定の範囲は 20 kHz～2 MHz となっている（esp-idf/components/soc/esp32/include/soc/soc_caps.h at master · espressif/esp-idf）。

バージョンの問題

上記の方針でコードを書こうとしたが、 analogContinous などの関数が定義されておらずコンパイルエラーとなる。

調べてみたところ、ESP-IDFのバージョンがv3以降ではないとAPIが用意されていないっぽい。

ESP32 ADC Continuos mode? - Projects / Programming - Arduino Forum

PlatformIOでインストールされているバージョンはv2系となっている。 PlatformIOでは最新のesp-idfが使えないらしい。

参照: PlatformIOとEspressifの対立：コミュニティによる開発の現状

PlatformIOフォークの pioarduino/platform-espressif32 では最新版がメンテナンスされている。

platformio.ini のplatform欄に以下のように記述する。

platform = https://github.com/pioarduino/platform-espressif32/releases/download/stable/platform-espressif32.zip

これでコンパイルを通すことができ、実際に動作することを確認することができた。

References

Google製の正規表現ライブラリ「RE2」をpythonで動かす - 2025版

2025-08-14T00:00:00Z

Google製の正規表現ライブラリ「RE2」をpythonで動かすという記事を5年前に書いたが、いろいろと状況が変わっていたので最新の状況を記す。

前述の記事で用いていた fb-re2 がpip install時にビルドでコケてしまうようになった。

Claudeに要約させたところこのようなことらしい。

システムのAbseilライブラリがC++14以上を要求
fb-re2のビルドスクリプトがC++11を指定つまり、Ubuntuのバージョンが更新されたことによって、最新の環境でビルドができなくなってしまった。しばらく更新されていなかったことによる、互換性問題が発生していそう。

気付いたらGoogle公式が re2をPyPIに公開しており、これがメンテナンスされているので、これに切り替えてみる。

https://pypi.org/project/google-re2/

google-re2 2022年10月25日にv1.0がリリース
fb-re2 2019年2月8日を最後にリリースされていない

google-re2を使ってみることで、ビルドが成功した。

差異

バージョン fb-re2 → google-re2 へ変更した際にたまたま発見した差異。

fb-re2 は re2.error がそのまま re.error を差していたが、 gooogle-re2 では別物のオブジェクトになっている。まあこれが問題になることはないと思うが……

検証結果。uvはこういう検証に便利。

uv run --isolated --no-project --with fb-re2 python -c "import re;import re2;print(re.error is re2.error)"
>>> True
uv run --isolated --no-project --with google-re2 python -c "import re;import re2;print(re.error is re2.error)"
>>> False

まとめ

fb-re2 はもう古いので google-re2 を使おう。

References

【2025年版】Pythonパッケージ管理の決定版「uv」- 覚えることは4つだけ

2025-08-26T00:00:00Z

今流行りのPythonのパッケージマネージャー "uv" が便利でとりあえず全員に使ってほしい。「昨日まで動いていたコードが突然エラーになった」「同僚にコードを渡したら動かなかった」「venv使ってるけど、activateが面倒」といった経験がある人は特に見てください。

この記事はそこまでPythonをガチで使っていない人（解析でPythonを使う研究者など）、パッケージ管理をやったことない人に向けた記事です。

とにかく使ってほしい

覚えるのは以下の4つだけ。

最初にプロジェクトフォルダを作ったら uv init を実行
pip install {package} の代わりに uv add {package} でパッケージをインストール
python {script}.py の代わりに uv run python {script}.py で実行
- uv run {script.py} と省略可能
人にスクリプトを渡すときはフォルダごと（ pyproject.toml と一緒に）渡す

今までのパッケージ管理との比較

なぜuvが良いのか、今までのパッケージ管理手法と比較して解説する。

（手法1） pip install だけをする

pip install matplotlib など、pipを使うことで様々なパッケージをインストールすることができるのがPythonのいい所である。そのため、必要になったタイミングで pip install すれば実行できる、という運用をしている人が多いと思う。

普段はこれでいいものの、突然Pythonのコードが動かなくなった経験がある人も少なくないと思う。そして、Pythonのコードが急に動かなくなる原因の9割は依存パッケージによるものである。これが起こる1つのストーリーを紹介する。

スクリプトAのために、 pip install X によってパッケージX v1.0 を入れた。
1年後に、スクリプトBのためにパッケージYを入れ、無事スクリプトBを動かすことができた。
- しかし、パッケージYはパッケージX v2.0に依存しており、自動的にパッケージX v2.0がインストールされた。
その後にスクリプトAを実行しようとしたが、パッケージX v1.0 ではなく v2.0 がインストールされていたため、エラーとなってしまった。
- 当時に使っていたパッケージXのバージョンを記録していなかったため、復旧することができなかった。

最近起きた事例だと、numpyのv2.0のリリースが2024年にあって、この現象が起きた。例えば X=numpy、Y=matplotlib など。

また、他の例だと、機械学習によく用いるPyTorchは厳密にバージョンを指定しないと動作が変わってしまうことがあるため、勝手に変わっては困ることがある。

（手法2）venvを使う

このような困りごとはよくあることであるため、pythonにはvenvという仕組みが標準搭載されている。venv（仮想環境）をプロジェクトごとに作成し、その中に pip install することで、前述したような別のプロジェクトの影響による不具合は起こらなくなる。

venvを使う際は以下のような流れになる。

python -m venv venv # `venv` ディレクトリに仮想環境を作成して
./venv/bin/activate # 仮想環境を有効化して
pip install matplotlib # パッケージを入れて
python script.py # 実行したいスクリプトを実行して
deactivate # 仮想環境から出る

ディレクトリを指定して（今回は venv ディレクトリ）仮想環境を作成し、そこにパッケージをインストールする。

venv は十分な機能であり、 venv だけで運用している人も多い。しかし、以下のような困りごともある。

venv をアクティベートし忘れる
- スクリプトを実行する前にactivateを忘れると、エラーが発生したり、
- pip install をする前にactivateを忘れるとPC全体にインストールされてしまったりする。
- まあ忘れなければよいが。
venvのディレクトリ名を忘れる
- venv / .venv などが慣例的に用いられるが、それ以外の名前も指定できるため、フォルダ名を忘れてしまう。見ればいいんだけどね。
必要なパッケージのリストを手動で管理しないといけない
- pip installはあくまで手動でやるため、例えば別のPCに移動する場合や他人に共有する場合はパッケージのリストを共有する必要がある。
- なお、このための仕組みはちゃんとpipに容易されており、
  - pip freeze > requirements.txt でパッケージのリスト（ requirements.txt ）を作成しておく。
  - pip install -r requirements.txt で、リストを元にインストールできる。
- 新しいパッケージを入れたものの requirements.txt の更新を忘れていて、パッケージが足りなかったりなどもよく起こる。

このように、まあ十分使えるんだが、覚えることが多くて大変。なので、初心者ほど uv を使うのがいいと思っている。

uvの使い方

再掲するが、覚えるのは以下の4つだけ。

最初にプロジェクトフォルダを作ったら uv init を実行
pip install {package} の代わりに uv add {package} でパッケージをインストール
python {script}.py の代わりに uv run python {script}.py で実行
- uv run {script.py} と省略可能
人にスクリプトを渡すときはフォルダごと（ pyproject.toml と一緒に）渡す
- gitを使っている場合は、 pyproject.toml をコミットする
- 「 uv run script.py で実行」してくださいと伝える。（READMEに書くなど）

実際には上で説明した venv を使っているのだが、

uv run uv add 時に、勝手に仮想環境を activate して実行してくれる。
- 仮想環境が存在しない場合は自動で作成してくれる。
- .venv という名前で固定になっていて、意識する必要がない。
必要なパッケージがない場合は勝手にインストールしてくれる。
後述するが、Pythonがない場合ですら勝手にインストールしてくれる。
- なので、uvを使う場合はPythonのインストールが不要。
インストールしたパッケージとバージョンは pyproject.toml に勝手に保存される。
- 明示的に指定していないパッケージのバージョンも uv.lock に記録されるため、完全に環境が再現可能である。

つまり、何も意識せずに使えばよい。ちなみに単純に pip install するよりも高速なのでそれだけでも便利。

uvのインストール

Installation | uv に従えばインストールができる。

windowsの場合

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

mac / linux の場合

curl -LsSf https://astral.sh/uv/install.sh | sh

スクリプトを実行したくない場合は、 winget や homebrew で入れることもできる。

winget install astral-sh.uv # for windows
brew install uv # for mac

その他の便利機能

さっきの4項目だけを使うだけで、uvの恩恵にあずかることができる。

一方で、uvにはさらにいくつか便利機能があるので、活用例と共に紹介する。

uvを使ってPythonをインストール

Python versions | uv

Python自体のインストールをする機能がある。そのため、基本的にはuvさえインストールすればPythonをインストールする必要はない。実行時にPythonがなければ自動でインストールしてくれる。ちなみに、すでにPythonを(例えばmicrosoft storeなどから)インストールしてある場合には、そのPythonをちゃんと参照してくれたりする。

uvではこの仕組みを使って、指定したpythonのバージョンを用いることができる。これによって、Pythonのバージョンが環境によって異なることによる不具合を防ぐことができる。 uv init 時に指定する。

uv init --python 3.11 # Python 3.11を指定
uv python pin 3.11 # すでにinitしている場合には、python pinが使える

指定したPythonは .python-version ファイルに自動で記録され、uvが勝手に読み取ってくれるため、次回以降は意識せず uv run を行うだけで指定したバージョンのPythonで実行される（そのバージョンがなければインストールしてくれる）。

なお、パッと違うバージョンで実行したい時には

uv run --python 3.13 script.py

と指定して実行ができる。

Pythonのバイナリをパッとインストール

uv python install 3.10
uv venv --python 3.10

https://docs.astral.sh/uv/pip/environments/

スクリプト1ファイルで完結させる

依存パッケージの情報は、 pyproject.toml に基本的に記載される。一方で、スクリプトファイル1つだけ動かしたいような場合には、わざわざ pyproject.toml に記載するのが面倒である。

uvを使うと、ファイル内に依存関係を埋め込むこともできる。 uv add 時に --script を指定すればよい。

uv add --script script.py matplotlib

+# /// script
+# requires-python = ">=3.9"
+# dependencies = [
+#     "matplotlib",
+# ]
+# ///
 import matplotlib.pyplot as plt
 
 x = [1, 2, 3, 4, 5]
 y = [2, 4, 1, 3, 5]
 
 plt.plot(x, y, marker='o')
 plt.xlabel('x-axis')
 plt.ylabel('y-axis')
 plt.grid(True)
 plt.show()

実行する側は、何も意識せず今まで通りやればよい。（これが素晴らしい）

uv run script.py

.py スクリプトを共有する場合には依存関係を組み込んでおくと親切。

応用例

他にも便利な使い方の例を紹介する。

Pythonファイルのフォーマット

uvx ruff format

uvx を用いると、パッケージをインストールして実行できる。この機能を用いて、フォーマッタの1つである ruff パッケージをインストールすることで簡単にPythonスクリプトのフォーマット（体裁を整えること）ができる。

Tools | uv

Jupyter notebook (jupyer lab)の実行

uv run --with jupyter jupyter lab

uv run 時に --with で指定したパッケージを追加で一時的に（ pyproject.toml に追加せずに）インストールして実行することができる。これを活用すると、現在のフォルダの依存パッケージを保ったまま jupyter labを実行することができる。

Running scripts | uv

まとめ

パッケージ管理ツールを使うと、パッケージ依存に関するトラブルを避けることができる。
uv では基本的な使いかたを覚えるだけで使うことができる。
他にも便利な機能がある。
とにかく将来の自分や他人のために使ってください。

References

分析スクリプト迷子問題を解決する：1成果物＝1スクリプト運用

2025-12-05T00:00:00Z

Pythonでデータ分析やグラフ作成をしてると、「この図ってどのスクリプト・どの条件で作ったんだっけ？」が多発する。これを解決するために、

1成果物1ファイルでスクリプトを作り、
__file__ を使うことでスクリプトファイルと成果物を対応させる

運用を紹介する。1年間ほど行ってきて固まってきたものを紹介する。

これまでの課題

スクリプトを書き換えてしまい、どの条件で出した図かわからなくなる
- Jupyter Notebookなどを用いている場合も書き換えがちなので同様
入力ファイルなどを引数にして管理しても、
- 最初はパラメータだと思っていなかったところを後から変えたくなったり
- パラメータが増えていくと実行するのが大変になるなど、
- どうしても本体のスクリプトを書き換えたくなる
修正版を作るためにスクリプトをコピーすると増えていき、どの成果物がどのスクリプトから出力したものなのか分からなくなってしまう。

つまり、成果物とスクリプトの紐付けが失われやすいのが課題

解決するための運用

1成果物1スクリプトの運用にする（一対一ルール）

例えば、251205_data1_plot.py というスクリプトは 251205_data1_plot.png を生成する

同じスクリプトで別のデータを出力する際も別のファイルにする
- これは、後からグラフの文言や縦軸・横軸を変えたくなったりすることがあるため。

スクリプトは基本的に書き換えずコピーする（イミュータブルルール）

基本スクリプトの書き換えはせず、コピーして新規スクリプトを作る（イミュータブルルール）コピーして編集してもよいし、「名前をつけて保存」でもよい。

可視化の際に試行錯誤するとか、明らかに間違えたとかであればもちろんOK。
一方で1週間前作ったグラフを作り直したい、などあればコピーして修正するのがベター。
イメージとしては、24時間経ったらもう編集しないくらいのイメージ

実際はスクリプトを作成した日付を頭につける運用をしている。命名が面倒なのでファイルをコピーせず編集しちゃう、といったことが起きうるが、日付をつけておけばある程度適当な命名でも同じ日付内での重複だけ避ければよい。

`file` で自動的に出力ファイル名を決める

一対一ルールとイミュータブルルールを守るためのテクニック。

__file__ を使うことでスクリプトのファイル名を取得できるので、これを用いて出力ファイル名を決定するとファイルと成果物（グラフ画像など）が一対一対応できる
- また、スクリプトを別名保存した際にはグラフも新しい名前で自動的に作成される。
pathlib の .with_suffix() を用いるとこれが簡略に書ける

例:

from pathlib import Path

import matplotlib.pyplot as plt

fig, ax = plt.subplots(figsize=(10, 8), constrained_layout=True) # example

# plot here

plt.savefig(Path(__file__).with_suffix('.png'))
plt.show()

共通化はあえてしない

特にプログラミングに慣れている人は前処理や描画の共通化をしたくなるが…

ただ、もし前処理だけ変えたくなったら？
一部だけ変えたくなったときにライブラリ側を変更すると、他のスクリプトの再現性を壊す
1ファイルに全部書いておいて、まるごとコピペするのがベスト

そこで、1ファイル完結で書き、必要ならそのままコピペが一番トラブルが少ない。

最後に、これらを全部1つのリポジトリに入れる

以下のようなフォルダ構造にしている。

data/
	yymmdd_<slug>/       # 実験日と実験内容で分類
		**/*.csv         # 実験データファイル
scripts/
    yymm/                    # 年月で分類
        yymmdd_<slug>.py     # 解析スクリプト（1成果物1スクリプト）
pyproject.toml

今のところは、全ての生データと解析スクリプトをここに入れている。
- プロジェクトごとにフォルダを作ってもよいが、「これどこに入れよう？」を毎回考えるのが面倒。
- 結局日付での管理が最強で思い出しやすい。（参考: スマホのカメラロール）
  - 実験ノートに日付付きでメモしているので辿れる
Claude codeなどを用いることで、他のスクリプトのデータだけ差し替えたものを作ったりできる。
- プロンプト例: 「scripts/yymm/yymmdd_analysis1.py を参考にして、 data/yymmdd_exp1/exp1.csv を可視化するスクリプトを作成してください。」
できればgitで管理する
- バックアップのため。慣れていなければ定期的に全体をzipしてクラウドにバックアップしておくような運用でも、まあ、よい。
  - イミュータブルルールにより、バージョン管理の重要性が少ない。
- data フォルダはgit管理してもしなくてもよい
  - データが軽量なのであればgit管理しておくとバックアップにもなるし同期が楽
  - 重いのであればLFSや別のクラウドストレージで管理するなどの方法を取ってもよい
- コミットメッセージは適当
  - コミットメッセージで（内容に関係なくてよいので）日記をつけている。以外と記憶が連想で思い出しやすくてよい。
  - もちろんちゃんとメッセージを書いてもよい。

AIとの適正もgood

スクリプトが1ファイルで完結していることにより、AIによるコードレビューや修正も用意。

「このファイルを直して」とそのまま渡せる
文脈が1ファイル内で閉じているため誤解が少ない
claude codeなどのコーディングエージェントをわざわざ用いずとも、Web上のChatGPTやGeminiなどの画面にコピペすれば済む。

AI支援時代のスクリプト管理としても合理的。このブログ記事を CLAUDE.md などに記載しておいてもよい。

差分が確認しづらい問題

「共通化をしない」「gitなどのバージョン管理ツールを使わずにコピペで履歴管理する」ことによって、どの部分を変更したのか忘れてしまったりする。

積極的にdiffをとろう。vscodeであれば右クリックでcompareできるし、コマンドラインだったらdiffコマンドが使える。winmergeなどを使ってもよいだろう。

まとめ

1成果物＝1スクリプト（一対一ルール） により、スクリプトが迷子にならない
スクリプトの変更は基本的に行わないイミュータブルルール により、再現性を確保

おまけ

ファイルの実行が面倒な問題

毎回 python コマンドを実行するのが（jupyter notebookなどと比較して）面倒である問題

これに対しては、スクリプトファイルをwatchして保存時に自動的に実行する適当なスクリプトを用意している。

import time
import subprocess
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
import os
import threading
from pathlib import Path
import shutil

class PythonFileChangeHandler(FileSystemEventHandler):
    def __init__(self, delay=0.5):
        super().__init__()
        self.delay = delay
        self.timers = {}
        self.last_py_run_time = None  # Last execution time of .py script

    def on_modified(self, event):
        # Cancel existing timer if present
        if event.src_path in self.timers:
            self.timers[event.src_path].cancel()
        # Set a new timer
        timer = threading.Timer(self.delay, self.on_modified_throttled, args=(event.src_path,))
        self.timers[event.src_path] = timer
        timer.start()

        if len(self.timers) > 5:
            for timer in self.timers.values():
                timer.cancel()
            self.timers.clear()

    def on_moved(self, event):
        # Cancel existing timer if present
        if event.dest_path in self.timers:
            self.timers[event.dest_path].cancel()
        # Set a new timer
        timer = threading.Timer(self.delay, self.on_modified_throttled, args=(event.dest_path,))
        self.timers[event.dest_path] = timer
        timer.start()

        if len(self.timers) > 5:
            for timer in self.timers.values():
                timer.cancel()
            self.timers.clear()

    def on_modified_throttled(self, file_path):
        # .venv配下は無視
        if ".venv" in Path(file_path).parts:
            return
        if Path(file_path).resolve() == Path(__file__).resolve():
            return
        self.timers.pop(file_path, None)
        ext = Path(file_path).suffix

        if ext == ".py":
            execute_py(file_path)
            self.last_py_run_time = time.time()
        elif ext == ".yaml" or ext == ".yml":
            print(f"YAML file changed: {file_path}")
            execute_py(file_path.replace(ext, ".py"))
            self.last_py_run_time = time.time()
        elif ext in [".png", ".jpg", ".svg"]:
            # Notify only if updated within 2 seconds after .py execution
            now = time.time()
            if self.last_py_run_time is not None and (now - self.last_py_run_time) <= 2:
                print(f" Updated: {file_path}")

def execute_py(file_path):
    try:
        print(f"Executing {file_path}...", end="", flush=True)
        env = os.environ.copy()
        env["MPLBACKEND"] = "Agg"
        result = subprocess.run(
            [
                "uv", "run", "python",
                "-W", "ignore:FigureCanvasAgg is non-interactive",
                file_path,
            ],
            capture_output=True,
            text=True,
            env=env,
            encoding='utf-8',
            errors='ignore',
        )

        if result.returncode == 0:
            print("done.")
        else:
            print(f"error! (code={result.returncode})")

        if result.stdout:
            print_boxed_output(result.stdout, "stdout")
        if result.stderr:
            print_boxed_output(result.stderr, "stderr")
    except Exception as e:
        print(f"Failed to execute {file_path}: {e}")

def print_boxed_output(text: str, title: str = "Output"):
    # Get terminal width, fallback to 60 if not available
    try:
        width = shutil.get_terminal_size().columns
    except Exception:
        width = 60
    min_width = 30
    width = max(width, min_width)
    # Box drawing
    head = f" {title} " + "─" * (width - len(f" {title} ") - 1) + "┐"  # -2 for right corner
    tail = " └" + "─" * (width - 3) + "┘"
    print(head)
    for line in text.rstrip().split("\n"):
        content = line.ljust(width - 5)  # │ と │ で2文字、先頭の│ とスペースで2文字
        print(f" │ {content} │")
    print(tail)

if __name__ == "__main__":
    path = os.path.join(os.getcwd(), "scripts")  # scripts directory
    if not os.path.exists(path):
        print(f"Error: scripts directory not found at {path}")
        exit(1)
    event_handler = PythonFileChangeHandler(delay=0.5)
    observer = Observer()
    observer.schedule(event_handler, path, recursive=True)

    print(f"Monitoring .py files in {path} for changes...")
    try:
        observer.start()
        while True:
            time.sleep(1)
    except KeyboardInterrupt:
        observer.stop()
    observer.join()

SpotifyからApple Musicへ移行しての感想

2026-05-13T00:00:00Z

今までずっとSpotifyを使っていた（10年間程度）が、1週間前ごろからApple Musicを使ってみている。比較した感想を述べる。結論から言うと今後もApple Musicを使いつづけると思う。

移行について

一番心配だったのは育ててきたプレイリストの移行だったが、公式機能を使って簡単に全部コピーできた。

Apple Musicの「神アプデ」でSpotifyからの楽曲移行が可能に！日本の対応はいつ？ | ライフハッカー・ジャパン

Apple Music へ移行して感じたメリット

全体的にApple純正なだけあり、iPhoneとの親和性が高い

Auto Mix

これをやってみたくて移行した。アウトロの途中からイントロ後 or サビ前まで、自動でトランジションしてくれる。

「曲はフルで聞くべき」など賛否あると思うがドライブ中などBGMとして聞いている時には良い。

リリース時から歌詞が表示される

Spotifyは歌詞の表示に外部サービスを用いているため、新曲などリリース直後には歌詞が表示されなかった。Apple Musicの場合はリリース時から歌詞が表示される。新曲を追い掛けている場合にはとても重要。

アーティストの曲一覧が見れる

Spotifyではアーティスト画面から、トップ10曲しか見ることができなかった。 Apple Musicでは曲を全て見ることができる。

クレジット機能が充実している

「クレジット表示」で作編曲者やリリース日が表示される。 Spotifyではクレジットは表示されるものの、リリース日が表示されなかった。たまにいつの曲か調べたくなるので便利。

歌詞の共有機能

「歌詞を共有」機能を用いると、曲の歌詞の好きな部分を画像として共有することができる。歌詞ツイがお手軽にできてたのしい。

ロック画面から楽曲のいいねができる

ロック画面の再生コンポーネントから、☆ボタンを押して、お気に入りの曲に追加することができる。自動再生にしている時など、「この曲好き」と思ったら記録しておけるのがとてもよい。

Apple Music へ移行して感じたデメリット

UIが使いづらい

画面下部のナビゲーションがタブではなくコロコロと形が変わるため、認知負荷が高い。

Spotifyであれば単純なタブUIなので、例えば検索がしたかったら毎回同じ場所をタップすればよい。 Apple Musicは検索ボタンが音声検索ボタンに変わったり、検索欄が再生中音楽に変わったりと状態遷移が多いため、画面を見ないとまともに操作ができない。

歌詞画面のUIも歌詞を見ようと歌詞をスクロールしていると、音楽を飛ばしてしまうことがあるなど、直感的に操作できないことが多い。

Google TV連携

SpotifyではスマホアプリからGoogle HomeやGoogle TVへ曲を転送して、そのまま再生、さらにスマホから再生をコントロールすることができた。 Apple Musicでもできるのかもしれないが今のところやり方が分かっていない。

まとめ

Apple Musicの方が痒いところに手が届くような機能が充実していた。ただ、最近のApple特有の使いづらいUIには不満が残る。

Yusuke Ebihara's blog

ブログをはじめました。

Google製の正規表現ライブラリ「RE2」をpythonで動かす

RE2 とは

インストールする

pip でインストールしてみる

本体のインストール

うまく行ったと思ったが..

まとめ

参考サイト

Windowsのscoopが便利という話

「パッケージ管理ツール」とは

Windows のパッケージ管理ツール

Chocolatey

scoop

Windows Package Manager

試した

インストール

使ってみる

まとめ

Kenkyuu.htmlを読んだ

Windowsでyarnが動かなかった。

解決策

参考サイト

DockerでCodiMDを構築した

docker の設定

使ってみる

まとめ

参考サイト

zoomでYouTube Liveをする

やり方

OBS 配信との比較

メリット

画面レイアウトをうまくやってくれる

音声ラインを考えなくていい

PC スペックを圧迫しない

デメリット

レイアウトをカスタマイズできない

音声の確認・調整がしづらい

注意点

予約配信のしかた

遅延について

画面の映り方

ギャラリービューで表示しているとき

スピーカービューで表示しているとき

画面を共有しているとき

BGM について

ノイズカット

音量

まとめ

Windowsの環境構築メモ

必須ソフトのインストール

Google Chrome

1password

Dropbox

デスクトップの設定

Google 日本語入力のインストール

Scoop のインストール

ssh キーを作る

dotfiles のインストール

VSCode の設定

Docker のインストール

その他

まとめ

マコの名言

macのopenコマンドとwindowsのstartコマンド

mac の場合

Windows の場合

WSL の場合

Inkscapeの開発に参加した

概要を手探る。

バグ修正編

バグの内容を手探る。

大量のファイルをを手探る。

drawing-item.cpp を手探る。

clip() を手探る。

_antialiasを手探る。

ついでに

Merge Request を手探る。

おまけ：機能追加を手探る。

`drawing-item.cpp` を手探る。

`clip()` を手探る。

`_antialias`を手探る。

`~/.ssh/config` の記述内容