Dockerfileに以下の記述を追加して、C言語拡張 (native extension) のgemのビルドを可能にします。

RUN apk update && \
    apk add g++ make yaml-dev

Gemfileのgem "tzinfo-data", platforms: %i[ windows jruby ]の行からプラットフォーム指定 (platforms ~) を外して、 tzinfo-data gemがインストールされるようにします。

gem "tzinfo-data"

以上の変更で、rails serverが無事立ち上がるようになることを確認しました。