Новый аппаратный журнал (Open Source)

[RX1AL]

Методы одни и те же используются. Что при импорте, что при вводе. ....
Чудной всё таки этот ADIF! Какой "вундеркинд" его придумал? Размер поля указан, но длина поля может не соответствовать размеру. Понятно, что присутствует "фактор пользователя". Но всё же...

Да уж про формат ADIF давно идут разные разговоры. Насчет его "кривости" - тоже. Почитаешь на оф. группе по его разработке, так там каждый второй пишет, про то, что пора давно формат менять с "древнего, как мамонт", на нормальный на базе XML (со схемой XSD). И версия уже есть 3.0.2 XML. Но снова не со всеми полями...

Я понял, про что ты написал, относительно поля DXCC. Да, такое есть...

PS. По поводу "долго искать" в базе - не знаю. У меня в миллионной базе SQL 2014 с кластерным индексом лямбда ищет дубли по 122 полям всего за 2 минуты. По миллионам записей! А у тебя там от силы 100-200 тысяч будет.

[UA3GDW]

А у тебя там от силы 100-200 тысяч будет.

На поиск и удаление дубликатов я отдельно время не замерял. Но на 100 тыс. импортируемых QSO плюсом к 100 тыс уже существующих получается пару секунд или меньше (по 5 проверяемым полям). Начинаю транзакцию, загоняю в базу все записи подряд (кроме пропущенных, согласно правилам импорта). Далее SQL - запросом удаляю дубликаты и завершаю транзакцию. Очень быстро. Пробовал использовать триггер - медленно.

P/S. Зачем я тут всё рассказываю?! Стырят мои идеи и даже спасибо не скажут!

[RX1AL]

На поиск и удаление дубликатов я отдельно время не замерял.....
P/S. Зачем я тут всё рассказываю?! Стырят мои идеи и даже спасибо не скажут!

Не стырят... тут программеров не так много. Мне не надо, я с другими "плюшками" играюсь уже.
Насчет все в одной транзакции, ну, ясен пень... роллбэк же нужен для отката, на всякий пожарный.
Не помню, есть ли поддержка в Bulk операций: Insert, Delete и т.д.? Было бы вкусно. В нормальном сиквеле есть
и очень удобно. И по скорости и т.д.
PS. У тебя в селекте как: COUNT() AS CNT и GROUP BY по всем полям? Просто если AS CNT есть, то все, что больше в нем, чем "1" - идет под удаление. И можешь спокойно потом (вне транзакции) удалить одним запросом. Или даже параллельно на мульти-ядерных процах.

[UA3GDW]

роллбэк же нужен для отката

Использую.

Не помню, есть ли поддержка в Bulk операций

Нет.

У тебя в селекте как: COUNT() AS CNT и GROUP BY по всем полям?

Нет. По другому.

[RX1AL]

Нет. По другому.

Роман, вот такой запрос по поиску дублей самый быстрый:
SELECT Field1, Field2, Field3 ..., COUNT(1) as CNT
FROM TableName
GROUP BY Field1, Field2, Field3 ....;
Потом можешь делать так:
HAVING COUNT(1) > 1; и удаляешь все лишнее к чертям.
PS. А то, что нет Bulk - жалко.

[UA3GDW]

Роман, вот такой запрос по поиску дублей самый быстрый:
SELECT Field1, Field2, Field3 ..., COUNT(1) as CNT
FROM TableName
GROUP BY Field1, Field2, Field3 ....;
Потом можешь делать так:
HAVING COUNT(1) > 1; и удаляешь все лишнее к чертям.

У меня всё ищется и удаляется одно небольшой строчкой SQL - запроса.
Весь секрет в том, что SQLite всегда сама создаёт поле rowid.

[RX1AL]

У меня всё ищется и удаляется одно небольшой строчкой SQL - запроса.
Весь секрет в том, что SQLite всегда сама создаёт поле rowid.

Роман, что-то я не понял... "как прикажешь понимать тебя, Саид?". Причем тут ROWID? У тебя что у таблиц(ы) нет PK? Данное поле лишь связывет идентити в базе, при отсутствии PK. И второе: каким образом ROWID связано с дубликатами в базе? Можешь пояснить? Так как данное поле никак не отражает кол-во совершенно одинаковых записей, не имея группировки по ним. В том запросе, что приведен выше, как раз и есть группировка по одинаковым записям, при использовании GROUP BY. И более того, даже в самой документации на SQLite приводится аналогичный пример: "SELECT DataId, COUNT(*) c FROM DataTab GROUP BY DataId HAVING c > 1;" для удаления строк. Чего-то ты там мудришь, похоже... так как ROWID 64-битное автоинкрементное поле в SQLite и все.

[UA3GDW]

Всех секретов раскрывать не буду. Просмотри мой код рефлектором, если интересно.

[RX1AL]

Всех секретов раскрывать не буду. Просмотри мой код рефлектором, если интересно.

Да я уж посмотрю... Но можешь мне в ЛС написать, как ты делаешь удаление без использования GROUP BY. Стало ооочень интересно!
Так как имея вот такую таблицу с записями, например, как ниже, с помощью одного ROWID ты ничего не сделаешь:
RowID | Data | Call |
1 | 23.04.2015 | DF3RF |
2 | 16.05.2015 | F5DFR |
11 | 11.04.2015 | LZ1QS |
39 | 23.04.2015 | DF3RF |
54 | 16.05.2015 | F5DFR |
Вот и хотелось бы услышать от тебя, как ты сие делаешь...
PS. Пример, самый тупой и простой, конечно. Но тем не менее, там есть дубликаты.

---------------------
И насчет bulk insert, delete в SQLite ты оказался не прав. Все там уже есть. И в самой документации тоже описано, как применять. Так, что, Роман... читай документацию. Например, по: "Bulk-loading can be done via the SQLite special command .import, as follows:
.separator <separator>
.import <loadFile> <tableName>" Аналогичная информация и по insert, delete.

[UA3GDW]

GROUP BY

GROUP BY используется!

Так, что, Роман... читай документацию.

Тоже почитай по разные способы поиска и удаления дубликатов.