閲覧済み0.5人月/Python/ETLパイプライン開発/金融機関のデータ活用バックエンドエンジニアの案件・求人
生命保険会社における営業職員のコンプライアンスモニタリングを目的とした、機械学習モデルの推論環境構築およびETLパイプライン開発プロジェクトです。
顧客企業が蓄積してきたフリーコメントデータ(約17,000件)をもとに、データサイエンティストが開発する分類モデル(TF-IDF+ロジスティック回帰/SVM、RoBERTaアンサンブル等)を、
オンプレミスのWindowsサーバー上で安定稼働させるためのCLIアプリ作成とデータパイプラインの構築が主なミッションとなります。
クラウドサービスやLLM APIに依存しない、ローカル完結型のシンプルかつ堅牢なアーキテクチャとなる予定です。
【お任せしたい業務 】
フェーズ1:立ち上げ、検証
・Windows Server環境の調査、Python実行環境のセットアップ
・プロジェクトフォルダ構成の設計、構築
・CSV読込処理の実装
・環境定義書の作成
フェーズ2:モデル改善、実装
・ETLパイプラインの実装(データバリデーション含む)
・タスクスケジューラーを用いたバッチ実行の仕組み構築
・ログ出力機能の設計、実装
・DSが開発したモデルロジックのパイプラインへの統合
・結合テスト、負荷検証
フェーズ3:テスト、納品
・UAT中の不具合修正、再配置
・操作マニュアルの作成
・納品用パッケージの梱包
・変換仕様書、アプリケーション仕様書の作成
[技術スキル]
・Pythonでの開発実務経験(2年以上目安)
・Windows Server環境での開発、運用経験
・バッチ処理の構築経験
・Windows固有のファイルパス、文字コード、権限管理への理解
・ETLパイプラインの設計、実装経験
・CSVを中心としたデータの抽出、変換、格納処理
・データバリデーション、エラーハンドリングの設計
・バッチ処理のログ設計、実装経験(実行履歴の追跡可能性を担保できること)
[ソフトスキル]
・データサイエンティストとの協業経験(モデルロジックの受け取り、統合ができること)
・顧客先の情報セキュリティ部門との技術的な折衝、調整ができるコミュニケーション力
・ドキュメント作成能力(仕様書、マニュアル等の納品物)
・金融機関(銀行、保険、証券等)のシステム開発経験
・オンプレミス環境でのセキュリティ要件対応経験(アクセス制御、暗号化、監査ログ等)
・機械学習モデルのサービング、推論環境構築の経験(scikit-learn, PyTorch等の本番組み込み)
・CLIアプリケーションの開発経験
・Python仮想環境のオフラインセットアップ経験(pip installがネットワーク制限される環境への対応)
【案件特有の注意点や事前に理解いただきたいこと】
・セキュリティ要件の厳格さ
生命保険会社が顧客であり、一般的なWeb系案件とは比較にならないレベルのセキュリティ制約があります。
具体的には、ソフトウェアのインストールに承認プロセスが必要、外部ネットワーク接続が制限される、本番サーバーへのデプロイに変更管理申請が必要、といった制約が想定されます。
こうした環境での開発にストレスなく対応できる方が望ましいです。
・取り扱いデータの機微性
営業職員の行動に関するフリーコメントや懲罰歴といった個人情報、人事情報を扱います。
データの一時保存場所、アクセス権限、ログへの出力制御など、常にデータ保護を意識した設計、実装が求められます。
・環境制約下での設計判断
クラウドや高スペックサーバーが自由に使える環境ではありません。
タスクスケジューラー(社内導入済み外部ソフト)とPythonスクリプトという「枯れた技術」で堅牢に動く仕組みを設計する必要があります。
最新技術の適用よりも、制約の中で確実に動くものを作る力が重視されます。