以下の記事を作成する際に出したエラー集で、ただ単にエラーと原因を箇条書き的にして記載しているだけの記事です。「えっ、そんなミスする!?」もありますが、ナレッジだと思い読んでみてください。 https…

背景・目的 Sparkではメモリ内のデータセットを永続化する事が可能です。この機能を試してみたいと思います。 まとめ Sparkでは、キャッシュを使用してデータセット（RDD）を保存し再利用すること…

はじめに Terraformとは、「Infrastructure as Code」を行うツールで、例えば、AWSリソースをコードベースで作成できたりします。「Infrastructure as Co…

背景・目的 こちらの、Amazon EMR で Spark アプリケーションを成功させるための設定を読み解いて、SparkやEMRのパラメータの理解を深めてみます。 まとめ Sparkは、メモリを使…

やりたいこと S3バケットtest-cloud-front-{accout}-ap-northeast-1の配下に配置されたtest.jsonファイルをhttps://config.example.…

SSM DHMCについて SSM DHMC(AWS Systems Manager Default Host Management Configuration) 2023年2月にリリースされたサービ…

はじめに Rには、スクリプトをREST APIにできる"plumber"というパッケージがあります。今回はイメージ化したplumberの環境を、ECSハンズオンの構成で動かしてみました。 参考 ht…

はじめに 先日行われたAWS Summitにおいて、2023 Japan AWS Top Engineerに選定いただきました。昨年に引き続き2年連続での選定となり大変うれしい限りです。 そこで、今…

前書き 配属されたPJでインフラ構築を進めていたところ、CloudFormationを使ってスタックを作成するときにエラーが出てしまいました。GPT先生に聞いたところ解決はしたものの、中身を詳しくチ…

はじめに 先日先人が作り上げた、偉大なログエクスポートを実行するStepFunctionsがコケていました。 一時的に全てのCloudWatchLogsの保持期間を「失効しない」に変更しました。 C…

はじめに 先日先人が作り上げた、偉大なログエクスポートを実行するStepFunctionsがコケていました。 先人ほどのスキルもないので、CloudShellを利用してCloudWatchLogsか…

このエラーは、「タスク定義で定義されている Amazon ECR でホストされているイメージまたはそれに関連するタグが存在しない場合」に表示される。 前提：ECRの方は正しくpushされてる。(「l…

概要 遺伝子治療をはじめとするバイオインフォマティクスが次の産業と言われています。ITからバイオへの産業の転換と、バイオテクノロジーでキャリアを積むにあたってどうすればいいかchatGPTに壁打ちし…

はじめに AWS CLF、SAAの試験に合格するまでの記録をつけていきます。（完全に自己満ですw）スケジュール感や学習量について一例として参考にしていただけると幸いです！ 前提 ・AWSの実務経験なし ・業務内容は運用業務メイン（技術的な要素は激薄です...…

クラウド実務未経験者がAWS認定資格に初挑戦した合格体験記です。 筆者スペック 駆け出しエンジニア 11ヶ月目 客先常駐でオンプレ環境下のJavaプログラム開発案件に参画中 AWS実務経験なし イン…

イントロ プライベートでインフラ勉強中の駆け出し開発エンジニアです。 自分用のメモとして作成しましたが、解釈に誤り等がございましたらお気軽にご指摘ください。 用語 ※随時更新 ※AWSのサービス特有…