【問題整理】MySQL大量データ再処理
仕事の中でデータの重さを取り除く必要があるため、记录をして、実はとても白い问题です...
実はデータの再来について言えば、プログラムとデータベースを設計する時にデータの冗長性の問題を考慮して、重複するデータを挿入しないのが一番いいです.しかし、、、このプロジェクトは、そのうちの2つのフィールドが同時に重複している場合、冗長であっても、プライマリ・キーとして自己成長idが必要で、クエリーが便利です...so...もういい、データを書き終わったら自分でやり直しましょう...
大量の重複データがあるため、選択した重み付け方法は、集約関数によって新しいテーブルを作成し、名前を変更することです.sqlコードは以下の通りです.
そして、大量のデータを削除しすぎたので、idはもうすぐ600000になります...見ているのが目障りだったので、idを1から始めました.方法は、まずidフィールドを削除してからidフィールドを増やして自己成長にすることです.よし、やっと見て安心しました.の30万以上のデータを重くしてから18本ぐらいのデータを使って、70 sを使って、数千万のデータを見積もったとき、私は泣くべきです.anyway、その時になってから、何かいい方法があるか考え続けます.
注意:以前がidでソートされていた場合、1から開始した場合、前の順序と同じではありません.2番目のフィールドに従って並べ替えられます.
実はデータの再来について言えば、プログラムとデータベースを設計する時にデータの冗長性の問題を考慮して、重複するデータを挿入しないのが一番いいです.しかし、、、このプロジェクトは、そのうちの2つのフィールドが同時に重複している場合、冗長であっても、プライマリ・キーとして自己成長idが必要で、クエリーが便利です...so...もういい、データを書き終わったら自分でやり直しましょう...
大量の重複データがあるため、選択した重み付け方法は、集約関数によって新しいテーブルを作成し、名前を変更することです.sqlコードは以下の通りです.
create table tmp select * from table_name group by column1,column2;
そして、大量のデータを削除しすぎたので、idはもうすぐ600000になります...見ているのが目障りだったので、idを1から始めました.方法は、まずidフィールドを削除してからidフィールドを増やして自己成長にすることです.よし、やっと見て安心しました.の30万以上のデータを重くしてから18本ぐらいのデータを使って、70 sを使って、数千万のデータを見積もったとき、私は泣くべきです.anyway、その時になってから、何かいい方法があるか考え続けます.
注意:以前がidでソートされていた場合、1から開始した場合、前の順序と同じではありません.2番目のフィールドに従って並べ替えられます.