Программа для автоматического создания словаря из файла. Составление своих словарей

Если вы занимаетесь переводами текстов постоянно, вам обязательно пригодятся различные электронные словари, оформленные в виде программ.
Словарь позволяет быстро получать информацию о нужном слове: его перевод, различные формы написания, толкование и правописание.

Возможности Babylon позволяют вам создать свой собственный словарь и выложить его в интернет. Именно эта особенность и сделала Babylon таким популярным во всем мире. Тысячи обычных людей, ученых, специалистов из разных областей создали словари по различным тематикам, и разместили их в интернете.

Попробуйте словарь Babylon в действии: PROMT VER-Dict - это электронный словарь, позволяющий получать перевод, толкование и различную грамматическую и морфологическую информацию по выбранному слову. В пакете PROMT VER-Dict объединены сразу 120 различных словарей различных тематик, общий объем слов которых превышает 7 млн. слов.

Словарь интегрируется в пакет программ Microsoft Office и браузер Internet Explorer. Вы можете создавать собственные словари и пополнять имеющиеся новыми словами. Слова и результат перевода можно озвучивать при помощи голосового движка.

Словари ProLingo

Основной особенностью словаря является его открытый исходный код и некоммерческая цель создания. Сотни программистов со всего мира занимаются его разработкой и постоянным улучшением. Ежедневно появляются новые дополнительные словари. Если вы владеете навыками программирования, вы можете также внести свой вклад в развитие этого полезного словаря, настроить его удобным для себя образом или даже реализовать на его основе какой-то интересный проект.

Словарь WordWeb

Lingoes быстро переведет слово, предоставит его подробное толкование, покажет к нему антонимы и синонимы. Среди других возможностей Lingoes: доступ к онлайн-словарям и энциклопедиям, перевод текста под курсором, перевод текстов.

Не забывайте после скачивания программ проверять их антивирусом!

Электронный словарь может пригодиться вам для перевода текстов. Теперь не нужно листать огромные бумажные словари в поисках нужного слова. Небольшая программа-словарь всего за пару секунд найдет вам перевод и толкование любого слова, а также подберет к слову антонимы и синонимы.

Если вы изучаете иностранные языки, программа-словарь вам также будет очень полезна. Вы в любой момент можете быстро узнать толкование и правописание нужного слова, сэкономив при этом бесценное время.

Сегодня современные электронные словари имеют возможность доступа к различным онлайн-словарям и энциклопедиям. Это существенно расширяет функциональность словаря, делая его возможности практически безграничными.

Аннотация : Эта программа написана как продолжение работы над Японско-Русским словарем. Я несколько раз писал программы-переводчики с английского, восполняя пробелы своих знаний. На определенном этапе понял, что без хорошего словаря хорошую программу переводчик не написать. Писать программу работы со словарем под один язык не имеет смысла. В силу этих причин и родилась идея в написании универсальной программы работы со словарями.

Описание программы

Программа позволяет создавать, проверять, редактировать словари для любых целей и для любых национальных языков и пользоваться созданными словарями. Основные функции:

Создание пустого словаря.

Наполнение словаря содержанием.

Выгрузка созданного словаря в текстовый (windows и unicode) или Word файл с возможностью взаимной конвертации кодов.

Использования созданного словаря как электронного словаря (аналогичного Lingvo).

Программа имеет множество настроек, позволяющих приспособить настройки "под себя".

Автор рекомендует пользоваться при создании и редактировании словарей текстовым форматом, и лишь на заключительном этапе, сохранять файл в формате Word (если это Вам требуется). Причина - загрузка 1 000 записей потребует 1секунды, соответственно 50 000 записей - 50 секунд. В тоже время, использование Unicode в текстовом файле позволяет работать с записями в различных национальных кодировках, а загрузку словаря выполнять за 1-2 секунды.

Установленные соглашения

Словарь формируется по принципу "одна строка-одна запись" (в Word - "один параграф-одна запись").

До первого разделителя расположено переводимое (трактуемое) слово или группа слов. Вид разделителя задается на закладке "Настройки". Далее, через второй разделитель, вид которого также можно задать на страничке "Настройки", идут слова перевода. В примере ниже, в качестве разделителей выбраны ";", что говорит о допустимости одинаковых разделителей. В квадратных скобках размещаются пояснения.

Соглашения о разделителях и пояснениях, позволяют в дальнейшем упростить создание программ электронных переводчиков .

West;запад; западный; на западе west country;западная Англия west german;западногерманский; житель Западной Германии; жительница Западной Германии west germany;Западная Германия. West Indian; вест-индийский; житель Вест-Индии; жительница Вест-Индии west indies;Вест-Индия west virginia;Западная Вирджиния[штат США] westbound;идущий на запад; западного направления

Заставка программы

Программа при старте отображает заставку программы, которая находится в файле ("zast.jpg") в директории, где и ".exe" файл.

На исходной закладке представлено множество обложек словарей, по мнению автора, программа может бать использована для составления любого подобного словаря .

Вы легко можете поменять заставку, заменив этот файл или воспользоваться меню "View", группа пунктов "Действия по смене заставки" (выполняются последовательно). Кроме того, Вы можете вообще отказаться от показа заставки, поставив галочку в меню "View" - пункт "Не отображать/отображать заставку". Тогда при следующем запуске стартовой будет закладка "Проверка словарей".

Рис.1. Заставка программы

Закладка "Редактирование словарей"

На данной закладке имеется возможность (Рис.2,3.):

Создать новый словарь (кнопка "Создать словарь").

Загрузить словарь (кнопка "Загрузить проверенный словарь для редактирования).

Выгрузить словарь без сохранения (кнопка "Сброс").

Добавлять новые записи в словарь. Внести в окно "Переводимое (трактуемое) слово (группа слов)" соответственно переводимое (трактуемое) слово или группу слов, а в окно "Слова перевода/Слова поиска" слова перевода через выбранный разделитель (он отображается на кнопке над окном "Слова перевода/Слова поиска" справа) и нажать кнопку "Внести в словарь". Если слова в словаре нет, то оно (вместе с трактовкой) будет добавлено в словарь. Не забывайте сохранять словарь после добавления слов.

Быстро вносить комментарии в слова перевода, заключая их квадратные скобки. Набор слов комментариев настраивается под Ваши нужды (Закладка "Настройки").

Изменить любую запись, выбрав ее (кнопка "Найти перевод слова"), далее внести изменения и нажать кнопку "Изменить\Добавить перевод".

Удалить любую запись, выбрав ее (кнопка "Найти перевод слова") и нажать кнопку "Удалить".

Использовать буфер обмена Windows для выборки, как переводимых слов, так и слов перевода (три кнопки со стрелочками). Причем, при занесении слов перевода можно использовать занесение из буфера без предварительной обработки и с использованием подстановки разделителей, заданных в программе (соответственно левая и правая кнопка со стрелочкой над окном).

Использовать обратный поиск. Например, введем в поле слова перевода "кричать" и нажмем кнопку "Найти переводимое слово для слова перевода". Программа последовательно будет выводить подходящие слова из словаря (например, у меня "shout", "yell") вместе с их словами перевода.

Рис.2. Закладка "Редактирование словарей"

Рис.3. Закладка "Редактирование словарей"

Закладка "Работа со словарем"

Закладка предназначена для использования словаря в двух режимах:

Режим простого перевода. Набрать слово в окне "Переводимое слово (группа слов)" и нажать кнопку "Найти перевод слова".

Режим расширенного перевода. При наборе слова в окне "Переводимое слово (группа слов)" после ввода каждой буквы выводится все слова, начинающиеся с уже введенных букв. Причем первым выводится слово, точно соответствующее введенным буквам (если оно есть, Рис.4.), вторым, слово, имеющее минимальное число букв, из имеющихся в словаре с уже введенным началом, и, далее, по алфавиту. Строки перевода разделяются разделителем, символ которого и число повторений задается на страничке "Настройки".

Странички "Редактирование словарей" и "Работа со словарем" синхронизированы. Это означает, что словарь, загруженный на любой из этих закладок доступен на другой. Это дает возможность, при использовании словаря, перейти на страницу редактирования, внести изменения, которые становятся доступными на обоих страничках.

Рис.4. Запись и просмотр результатов

Закладка "Проверка словарей"

На данной закладке выполняется проверка словарей на наличие совпадений (Рис.5.,6.) и удаление повторяющихся слов. Редактирование выполняется с учетом разделителей, заданных на закладке "Настройки". После редактирования словарь может быть сохранен в одном из четырех форматов.

Результат введения данной закладки - возможность составителя словарей добавлять новые слова в конец словаря (word, text) и затем, выполнив проверку, найти все повторения, отредактировать перевод слов, сохранить словарь в отсортированном виде в любом из указанных форматов .

Рис.5. Закладка "Проверка словарей", выбор словаря

Рис.6. Закладка "Проверка словарей", устранение совпадения

Закладка "Настройки"

Позволяет выполнять основные настройки работы со словарем, которые описаны выше.

Рис.7. Закладка "Настройки"

Настройка программы также включает выбор цветовой палитры рабочих панелей, текстов, оформленя кнопок...

Особенности работы с программой

Программа запоминает свои размеры и установки на момент закрытия - при старте их восстанавливает.

Программа требует для работы Windows XP SP2 и выше.

Программа создана с расчетом на то, что Ваш монитор имеет разрешение экрана не менее 1024*768 и цветовую палитру не ниже "True Color" (можно играть и при 800*600).

Данная программа - демоверсия ! Демоверсия имеет ограничение - работает со словарями до 500 записей . Если Вас заинтересовала программа - пишите автору и Вы сможите составлять словари любого размера.

Программа поставляется как zip архив. Распакуйте "setupDictMaster.zip" в любое место жесткого диска. Запустите setupDictMaster.exe, отвечайте на вопросы и программа будет уcтановлена. Не ставьте лишних галочек при инсталляции, за исключением "Поместить иконку на рабочем столе" - ее поставьте обязательно.

После установки программы вы найдете в меню "Пуск", "Все программы" папку с программой и иконку программы на рабочем столе .

Испытание словаря

При распаковке программы у Вас будет, как сказано выше, второй файл - "samples.txt". Это образец небольшого словаря. Поместите его в любое место и:

загрузите сначала на закладке "Проверка словарей" и устраните имеющийся в словаре повтор, затем сохраните под другим именем и в другом формате;

загрузите сохраненный Вами словарь на закладке "Работа со словарем", наберите букву "a" на английском языке - освойте работу со словарем;

загрузите сохраненный Вами словарь на закладке "Редактирование словарей" и освойте возможности, предоставляемые на данной закладке.

Зайдите на страничку "Настройки" и ознакомьтесь с возможностями настроек.

Молчанов Владислав 29.12.2008г. - последняя модификация 2013г.

Еcли Вы пришли с поискового сервера - посетите мою главную страничку

На главной странице Ва узнаете, как я могу помочь Вам в написании офисной программы любой сложности в соответствии с Вашими запросами . И найдете ряд програм или ссылок на образцы.

Кроме того - на главной странице Вы найдете бесплатные программы : программы комплекса Veles - программы для автолюбителей, программы из раздела графика - программы для работы с фото, сделанными цифровым фотоаппаратом, программу записную книжку, программу TellMe - говорящий Русско-Английский разговорник - программу для тех, кто собирается погостить за бугром или повысить свои знания в английском, теоретический материал по программированию в среде Borland C++ Builder, C# (Windows приложения и ASP.Net Web сайты) .

Одной из самых полезных программ на ПК и смартфоне в моем понимании является электронный словарь. В те стародавние времена, когда я учил иностранный язык, каждое слово приходилось искать в бумажном словаре. Эту тривиальную операцию я проделывал сотни раз, а некоторые зловредные слова приходилось смотреть снова и снова, так как я успевал забыть их значение. Как это было обидно! То ли дело сейчас, вжух и перевод перед глазами на экране монитора. История поиска, на случай, если искомое слово не перешло из области кратковременной памяти в долгосрочную.

Давайте своими силами создадим электронный словарь для программ StarDict / GoldenDict. Для этого может понадобится много, или мало человеко-часов, в зависимости от качества исходного материала.

Шаг первый: OCR

В отличие от альпинизма при оцифровке словаря самый тяжелый шаг, не последний а первый. Если вам придется проводить OCR бумажного словаря с выцветшими страницами, напечатанного слишком мелко, с различными артефактами небрежного использования, или на экзотическом языке, то даже FineReader не сильно поможет. На некоторых страницах разница в длительности времени между ручным набором текста и OCR с корректировкой ошибок ничтожна.

Советую сохранять все в простых текстовых файлах, так как продвинутый поиск и исправление ошибок, расстановка тэгов, преобразование сортировки и прочие операции с текстовым массивом невообразимо осуществлять с бинарным фалом .

На этом шаге важно определиться со структурой словарных статей. В самом простом случае будет всего два поля: ключ и значение . Этого достаточно, но если нужна подсветка различных элементов статей, то тогда потребуется все такие элементы определенным образом маркировать.

Самое время немного поговорить о форматах. Существует много форматов электронных словарей, вот их список.

Все форматы мы здесь разбирать не будем, так как большинство из них проприетарные. Нас интересуют открытые стандарты и открытое ПО.

Dictd

Возникший в эпоху, когда сетевые TCP/IP протоколы беспрепятственно плодились и размножались dictd сейчас представляет лишь археологический интерес. Это клиент серверный протокол, использующий TCP порт 2628, определен в RFC 2229 .

Исходный файл для словаря форматируется следующим образом.

XDXF

Ну все, завязываем с археологией и переходим к словарным форматам и программам годным для использования IRL.

XDXF имеет все преимущества и недостатки XML формата, каковым и является. Весь синтаксис формата и примеры можно обозреть .

Скелет словарного файла выгладит следующим образом, состоит из 2-х частей: meta_info и lexicon .

Тем не менее возможно и кое-какое и разметка файла словаря, однако не идет ни в какое сравнение с XDXF .

Формат определяет символ переноса строки \n , в том случае, когда статья разбита на параграфы.

Шаг второй: корректировка

После первого шага скорее всего будут десятки, а то и сотни орфографических, грамматических и всяких прочих ошибок, странных символов и прочих артефактов OCR.

Особенность словарей в том, что проверка орфографии нужна одновременно по двум языкам. Даже сейчас в 2018-м удивительно мало текстовых редакторов и даже офисных пакетов умеют это нехитрое действие выполнять.

для проверки орфографии по двум словарям, в данном случае русском и английском. Далее список граблей.

• Сортировка текста работает абы как для не латинских локалей, особенно плохо там, где написание буквы требует более одного символа, как армянская ու = ո + ւ . Необходимо в таких случаях самостоятельно сортировать список слов с помощью простенького Perl, или иного скрипта.
• Поиск по шаблону также может работать неожиданно для некоторых локалей, даже если сам текст и консоль в UTF-8.
• При оцифровке печатного словаря нужно быть готовым не только к ошибкам оцифровки, но и ошибкам в самом печатном словаре. Их там может содержаться немало!
• Если название статьи пишется заглавными, то возможно следует перевести при оцифровке в нижний регистр. Не все буквы имеют символы в верхнем регистре, собственно не для всех локалей даже есть верхний регистр.

Шаг третий: компиляция словаря

Для формата XDXF , как уже было сказано, этот шаг не требуется. Просто запихнуть файл в папку /usr/share/goldendict , где программа подхватит его.

Для TSV файла, используется утилита stardict-editor , поставляемого с набором инструментов .

На выходе программа создает следующие файлы, наподобие древнего Dict.

1. somedict.ifo
2. somedict.idx либо somedict.idx.gz
3. somedict.dict либо somedict.dict.dz
4. somedict.syn (optional)

Файлы копируются в каталог /ysr/share/stardict/dic и на этом все.

P. S. Для мобильной платформы Android программа GoldenDict внезапно стал платной, однако в интернет сети все еще можно найти последнюю бесплатную версию программы.

Хотите создать свой собственный словарь для reword? Тогда Вам необходим Компилятор словарей!

Как пользоваться компилятором? (reword compiler)

reword compiler — это программа, с помощью которой можно создавать словари для программы ReWord . Как же это сделать? Очень просто.

Перво-наперво откроем любой текстовый редактор (настойчиво рекомендую использовать Notepad++), создадим новый текстовый файл.

Первой строчкой у нас будет само слово

Второй строчкой у нас будет определение этого слова

Затем необходимо пропустить одну строку и писать уже следующее слово

Таким образом всё будет выглядеть так:

АЗ первая буква алфавита БУКИ вторая буква алфавита ВЕДИ третья буква алфавита

Итак, у нас готов свой небольшой словарь. Теперь нам необходимо сохранить файл на жёсткий диск и запустить программу Reword Compiler.

Нажимаем на кнопку "выбрать файл" и выбираем созданый нами только что файл.

Затем, заполняем поля ниже. В поле "автор(ы) словаря" пишем авторов словаря (например, В. Даль). В поле "полное название словаря" пишем как можно более полное название (например, "большой советский энциклопедический словарь"). В поле "короткое название словаря" пишем его короткое название (например, "энциклопедический словарь"). В поле "символы ввода" записываем сокращенные обозначения наборов символов. Так, для русскоязычных словарей необходимо написать "ru". Если в Вашем словаре встречаются, например, еще и символы латинского (английского) алфавита, то пишем в это поле "ru, en". С символами вывода аналогичная ситуация. В поле "кодировка исходного файла" необходимо указать кодировку созданного Вами файла. Как правило, если Вы не меняли настроек в Notepad++, это будет ANSI. В поле "Ваше имя" вы вписываете Ваше имя. В поле "о словаре" Вы вписываете всю дополнительную информацию, которая, как Вы считаете, является полезной.

Внимание! Из всех полей обязательными для заполнения являются только "выбрать файл", "полное название словаря", "короткое название словаря", "символы ввода" и "кодировка исходного файла".

Как только мы убедились, что все необходимые поля заполнены корректно, мы можем запускать компиляцию, нажав кнопку "компилировать".

В итоге, если всё было сделано верно, программа создаст новый словарь reword и выдаст сообщение о том, что всё готово.

Словарь будет находиться в папке dictionaries, а папка эта находится в рабочей папке reword compiler.

Чтобы увидеть, как работает наш словарь, скопируем файл из папки компилятора dictionaries в папку со словарями программы-словаря reword (тоже dictionaries).

После запуска программы-словаря reword мы видим свой словарь самым первым и радуемся:)

Обязательно необходимо заметить, что определения слов поддерживают базовую разметку HTML.

Создание словарей с мультимедиа

Создавать словари с мультимедиа несложно. Необходимо лишь в определении слова указать с помощью специального обозначения имя файла с мультимедиа. Делается это так:

АЗ первая буква алфавита БУКИ вторая буква алфавита <5>buki.jpg ВЕДИ третья буква алфавита

Как Вы видите, нужно всего-лишь обнести специальным знаком (тегом) название файла, и reword compiler воспримет buki.jpg как файл мультимедиа (рисунок) и включит его в словарь. Необходимо заметить, что для корректного создания словарей с мультимедиа файл с мультимедиа должен находиться в той же папке, что и текстовый файл, указанный в поле "выбрать файл".

Если у Вас есть какие-либо вопросы, связанные с использованием компилятора словарей, задавайте их на страничке "Контакт" . Я Вам обязательно отвечу.

— генератор словарей с паролями, в которых можно определить стандартную или заданную кодировку. Crunch может создать список слов со всевозможными комбинациями и перестановками в соответствии с заданными критериями. Данные, которые выводит crunch, могут быть отображены на экране, сохранены в файл или переданы в другую программу.

Это очень гибкая программа по генерации словарей.

Генерация паролей с Hashcat и maskprocessor

Если у вас не работает Hashcat (она требует установку драйверов видеокарты), то вы можете использовать программу maskprocessor .

Maskprocessor — это высокопроизводительный генератор слов (словарей), упакованный в отдельный исполняемый файл, в котором можно настроить символы для каждой позиции.

Использование maskprocessor:

Maskprocessor [опции]... маска

Маска составляется из встроенного набора символов и (или) пользовательского набора символов.

Встроенные наборы символов:

L = abcdefghijklmnopqrstuvwxyz ?u = ABCDEFGHIJKLMNOPQRSTUVWXYZ ?d = 0123456789 ?s = !"#$%&"()*+,-./:;<=>?@[\]^_`{|}~ ?a = ?l?u?d?s ?b = 0x00 - 0xff

Все символы, кроме тех, которые означает набор (?l , ?u , ?d и т.д.) попадают в пароль без изменения.

Если вы хотите составить словарь, который содержит пароли из шести цифр:

Maskprocessor ?d?d?d?d?d?d

Если вы хотите, чтобы в четырёх символьных паролях чередовались большие и маленькие буквы:

Maskprocessor ?u?l?u?l

Пароль начинается со слова voro, затем идут четыре цифры, а затем два больших буквы:

Maskprocessor voro?d?d?d?d?u?u

Пользовательские наборы символов:

1, --custom-charset1=CS Пользовательские наборы символов -2, --custom-charset2=CS Пример: -3, --custom-charset3=CS --custom-charset1=?dabcdef -4, --custom-charset4=CS устанавливает для?1 символы 0123456789abcdef

К примеру, в первой позиции должны быть цифры от 1 до 3, во второй позиции буквы AbCd, в третьей позиции любая цифра или маленькая буква, а последними двумя символами должны быть большие буквы:

Maskprocessor -1 123 -2 AbCd -3 ?l?d ?1?2?3?u?u

• -1 123 - первый пользовательский набор символов, включающий символы 123
• -2 AbCd - второй пользовательский набор символов, включающий символы AbCd
• -3 ?l?d - третий пользовательский набор символов, включающий символы?l?d, т.е. все маленькие буквы и цифры
• ?1?2?3?u?u - маска, составленная из пользовательских и стандартных наборов символов.

Дополнительные полезные опции:

* Приращение: -i, --increment=ЧИСЛО:ЧИСЛО Включить режим приращения. Первое ЧИСЛО=начало, второе ЧИСЛО=конец Пример: -i 4:8 интересующая длинна 4-8 (включая) * Разное: --combinations Посчитать количество комбинаций --hex-charset Предположить, что символы даны в шестнадцатеричном виде -q, --seq-max=ЧИСЛО Максимальное число одинаковых повторяющиеся символов -r, --occurrence-max=ЧИСЛО Максимальное число вхождения одного символа * Ресурсы: -s, --start-at=СЛОВО Начать с конкретной позиции -l, --stop-at=СЛОВО Закончить на конкретной позиции * Файлы: -o, --output-file=ФАЙЛ Файл вывода

Hashcat VS maskprocessor

Хотя, в целом, для генерации паролей maskprocessor и Hashcat являются взаимозаменяемыми, нужно помнить, что для выбора режима брутфорса/атаки по маске нужно указывать опцию -a 3 (поскольку Hashcat поддерживает различные режимы атаки, а не только по маске). Также нужно использовать опцию --stdout , которая означает показывать кандидаты в пароли (без взлома хеша).

Hashcat не позволяет задать максимальное число одинаковых повторяющиеся символов, максимальное число вхождения одного символа, начать или закончить на конкретной позиции.

С запуском Hashcat на Linux системах могут быть проблемы из-за необходимости иметь проприетарные драйвера.

Приращение длины пароля делается другими опциями:

Короткая / Длинная опция | Тип | Описание | Пример ==============================+======+===================================+======================= --increment-min | Числ | Начать прирост маски на X | --increment-min=4 --increment-max | Числ | Остановить прирост маски на X | --increment-max=8

Заключение

Crunch - очень гибкая программа для генерации словарей. Из минусов можно отметить некоторую запутанность назначения пользовательского набора символов, а также то, что пользовательские наборы символов перезаписывают стандартные наборы.

Hashcat не имеет некоторых опций, связанных с регулированием количества повторяющихся символов в пароле.