TypeScript+大量CSVと格闘したお話

2884 ワード
テキストリンク

なぜあんな格闘したんだろう

みなさんどうも、jey_desunですん
今日はTypeScriptで大量のCSVを捌くのにすげー格闘したお話をお届けします。

事の発端

長年サービスを開発/運用していると、どうしてもみたいなことが出てくる事、よくありますよね。
今回は、百万行あるCSVを1行ずつ加工して、データベースに保存しなければいけなくなったというお話です。

読み込み

まぁ、読み込むのはちゃちゃっとテキトーにできました
↓ちょっと適当ですけどこんな感じ

import {GetObjectCommand, S3Client} from '@aws-sdk/client-s3'

const s3 = new S3Client({
    region: 'ap-northeast-1'
});

const result = await s3.send(
    new GetObjectCommand({
        Bucket: 'Bucket',
        Key: 'Key'
    })
);

const stream   = result.Body as Readable;

※aws-sdkのv3

https://docs.aws.amazon.com/AWSJavaScriptSDK/v3/latest/clients/client-s3/index.html

何にハマったか

https://nodejs.org/api/stream.html
今回はCSVでsjisで〜みたいな感じだったので、pipeでparseしたりdecodeしたりして
dataイベントでどうにかしたりと。 
stream.pipe(parse({encoding: 'sjis-win'}))
      .pipe(decode(data,))
      .on('data', data => {
    logger.debug(data);
});

ここで、問題になったのは、1行ずつDBに入れるのはかなり負荷になってしまうので、1000件ずつくらいにまとめてバルクインサートしたかった。
あと、並々ならぬ理由で処理の終わりを待ちたかった。
しかし、この書き方だと並列処理なので全然うまくいかない
endイベントでどうにかしようとしてもendイベントももちろんdataの終わりなんて待たない？のでちょー速攻で発火される(もしかしたらここで別のやり方あるのかもしれない)

と、なんかすげー格闘してうまくいかんなぁと。

むっちゃ記事でてくるじゃん

https://qiita.com/kaz2ngt/items/ef2617aab3ae3209d81e
結果辿りついたのはfor-await-of
むちゃ簡単やん。。。むちゃ記事でてくるじゃん。。。

結局

今回は、速度はそこまで気にしなくていいので、1行ずつ待ってくれるfor-await-ofがすごいマッチした

import {GetObjectCommand, S3Client} from '@aws-sdk/client-s3'
import iconv from "iconv-lite";
import {parse} from "csv-parse/sync";

async execute() {
    const s3 = new S3Client({
        region: 'ap-northeast-1'
    });
    
    const result = await s3.send(
        new GetObjectCommand({
            Bucket: 'Bucket',
            Key: 'Key'
        })
    );
    
    const stream   = result.Body as Readable;
    const readline = createInterface(stream.pipe(iconv.decodeStream('cp932'))); // 文字コード変換
    for await (const line of readline) {
        console.log("line = " + line);
    }
}
Ubuntu 20.04 + Python 3.10 + Pipenv
【環境構築】MacBookを買ったらやること全て