Дискуссионный математический форумМатематический форум
Математический форум Math Help Planet

Обсуждение и решение задач по математике, физике, химии, экономике

Теоретический раздел
Часовой пояс: UTC + 3 часа [ Летнее время ]
новый онлайн-сервис
число, сумма и дата прописью

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 5 ] 
Автор Сообщение
 Заголовок сообщения: Многократная фильтрация
СообщениеДобавлено: 13 окт 2018, 19:12 
Не в сети
Свет и истина МРК
Аватара пользователя
Зарегистрирован:
06 янв 2015, 22:27
Сообщений: 7006
Откуда: Саратов
Cпасибо сказано: 783
Спасибо получено:
583 раз в 507 сообщениях
Очков репутации: -237

Добавить очки репутацииУменьшить очки репутации
У меня сложная задача (для меня).

Начну издалека: есть очень большое множество ассоциативных латинских квадратов (ЛК) 10-го порядка.
Я написала генератор таких ЛК, это первый ассоциативный ЛК, полученный моим генератором

Изображение

Красивый? :)
Мой генератор работает медленно. Поставила задачу сделать хороший генератор для ассоциативных ЛК перед канадским коллегой Harry White. Он решил эту задачу очень хорошо.
Итак, генератор имеется. Начинаем с любого ассоциативного ЛК, например, с показанного на иллюстрации, и поехали дальше, ЛК будут генерироваться в лексикографическом порядке. Генерировать ЛК, понятно, будем порциями, потому что все зараз сгенерировать невозможно: их многие-многие миллиарды или даже что-то покрупнее миллиардов.
Практически я генерирую по миллиону ЛК в порции.
Программа-генератор запоминает последний квадрат в порции и при следующем обращении к ней начинает генерацию с этого квадрата.

Это введение.
Дальше - суть фильтрации. Что отфильтровываем?
Отфильтровываем изоморфные ЛК.
К сожалению, и в моём генераторе, и в генераторе Harry изоморфные ЛК не отфильтровываются, а их до чёрта.
Самое печальное в том, что изоморфные ЛК будут не только внутри одной порции, но и в разных порциях.
В этом и вся головная боль.

Вот мы сгенерировали первую порцию - миллион ассоциативных ЛК.
Отфильтровываем в этой порции изоморфные ЛК с помощью программы whitefox kanonizator_lk.
На входе даём этой программе порцию ЛК, на выходе получаем только уникальные ЛК (изоморфные ЛК выброшены).
Так. С одной порцией всё хорошо: в ней нет уже изоморфных ЛК.
Теперь генерируем следующую порцию - второй миллион ЛК. В этой порции снова отфильтровываем изоморфные ЛК.
Но! в первой "очищенной" порции и во второй "очищенной" порции могут оказаться изоморфные ЛК.
То есть надо теперь объединить эти две "очищенные" порции и снова пропустить их через фильтр (программу kanonizator_lk).
И так далее.

Такой вот процесс многократной фильтрации. В принципе, вроде бы ничего сложного.
Надо написать скрипт (ну или попросту - пакетный файл), который будет выполнять эту процедуру.
Конечно, надо установить какую-то верхнюю границу для общего количества полученных не изоморфных ЛК, чтобы память не лопнула. У меня, кстати, маленькая оперативная память (2 Гб).
И ещё: надо как-то хорошо организовать процесс последовательной и параллельной фильтрации всех порций.

Буду благодарна за любые предложения.
Нужна конкретная схема скрипта.

PS. Важно: на миллион ассоциативных ЛК получается примерно 125000 уникальных (не изоморфных) ЛК.


Последний раз редактировалось Nataly-Mak 13 окт 2018, 19:36, всего редактировалось 1 раз.
Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Многократная фильтрация
СообщениеДобавлено: 13 окт 2018, 19:25 
Не в сети
Свет и истина МРК
Аватара пользователя
Зарегистрирован:
06 янв 2015, 22:27
Сообщений: 7006
Откуда: Саратов
Cпасибо сказано: 783
Спасибо получено:
583 раз в 507 сообщениях
Очков репутации: -237

Добавить очки репутацииУменьшить очки репутации
Наверное, эта задача хороша для кластера.
Что скажут специалисты?

Да где ж его взять - кластер? :(
У меня только 2-ядерный ПК имеется.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Многократная фильтрация
СообщениеДобавлено: 13 окт 2018, 22:01 
Не в сети
Гений
Зарегистрирован:
30 окт 2015, 15:03
Сообщений: 510
Cпасибо сказано: 11
Спасибо получено:
98 раз в 96 сообщениях
Очков репутации: 14

Добавить очки репутацииУменьшить очки репутации
2 гб оперативки. Извините, но Вы с какой планеты?

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Многократная фильтрация
СообщениеДобавлено: 14 окт 2018, 06:24 
Не в сети
Гений
Зарегистрирован:
02 июн 2018, 08:50
Сообщений: 659
Cпасибо сказано: 21
Спасибо получено:
105 раз в 103 сообщениях
Очков репутации: 16

Добавить очки репутацииУменьшить очки репутации
Nataly-Mak писал(а):
Да где ж его взять - кластер? :(
У меня только 2-ядерный ПК имеется.

Если задача очень большая, то стоит посмотреть в сторону организации boinc проекта.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Многократная фильтрация
СообщениеДобавлено: 14 окт 2018, 07:46 
Не в сети
Свет и истина МРК
Аватара пользователя
Зарегистрирован:
06 янв 2015, 22:27
Сообщений: 7006
Откуда: Саратов
Cпасибо сказано: 783
Спасибо получено:
583 раз в 507 сообщениях
Очков репутации: -237

Добавить очки репутацииУменьшить очки репутации
Emphatic18 писал(а):
Nataly-Mak писал(а):
Да где ж его взять - кластер? :(
У меня только 2-ядерный ПК имеется.

Если задача очень большая, то стоит посмотреть в сторону организации boinc проекта.

В эту сторону я уже давно посмотрела :)

В настоящее время работают два BOINC-проекта, инициированные мной
https://boinc.progger.info/odlk/
https://boinc.multi-pool.info/latinsquares/

Да, задача очень большая, настолько большая, что я ищу возможность запуска третьего BOINC-проекта
https://boinc.progger.info/odlk/forum_t ... =2524#2524

А пока продолжает работать мой ручной проект.
Это в основном разработка и обкатка новых алгоритмов поиска ОДЛК.
Ну и эксперименты выполняю по чуть-чуть. К сожалению, не хватает вычислительных ресурсов - всего один ПК у меня.

Вернуться к началу
 Профиль  
Cпасибо сказано 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему      Страница 1 из 1 [ Сообщений: 5 ]

 Похожие темы   Автор   Ответы   Просмотры   Последнее сообщение 
Фильтрация сигнала

в форуме MATLAB

77brayan77

2

777

06 янв 2015, 15:59

Фильтрация данных методом Фурье

в форуме MathCad

dusikasss

2

562

12 мар 2015, 00:10

Фильтрация данных с лазерного сканера

в форуме Математическая статистика и Эконометрика

djbios

0

319

21 июл 2015, 13:05

Калмановская фильтрация, лианеризация матрицы F

в форуме Численные методы

spiero

4

420

30 сен 2015, 15:55

Оптимальная фильтрация (фильтры Калмана)

в форуме Теория вероятностей

n1733

0

266

25 май 2016, 22:49


Часовой пояс: UTC + 3 часа [ Летнее время ]



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 7


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  

Яндекс.Метрика

Copyright © 2010-2023 MathHelpPlanet.com. All rights reserved