FTS3 Snowball Stemmer

Итак, поддержка стеммеров snowball для SQLite:

http://sqlite.mobigroup.ru/wiki?name=FTS3+Snowball+Stemmer

Пример использования:

CREATE VIRTUAL TABLE fts USING fts4(text,TOKENIZE icu russian);
insert into fts (text) values ('Нафига');
insert into fts (text) values ('попу');
insert into fts (text) values ('наган');
insert into fts (text) values ('если');
insert into fts (text) values ('поп');
insert into fts (text) values ('не');
insert into fts (text) values ('хулиган');

select * from fts where fts match 'поп';
попу
поп
sqlite> select * from fts where fts match 'нафиг';
Нафига

Примечание: аналогично можно использовать и fts3 виртуальные таблицы, но рекомендуется переходить на fts4.

Comments

Post a Comment

Popular posts from this blog

Открытый софт для научных расчетов

Задачки у меня бывают разные, кратенькое описание того, что может потребоваться я приводил здесь: Софт для спектрального анализа/численного моделирования/etc. Дело происходит в Linux Debian, соответственно, интересует софт, который устанавливается из стандартного репозитория (что подразумевает опенсорсность).  Для начала я протестировал двумерное Фурье преобразование (прямое и обратное) на широко известном тестовом изображении Lenna. Заодно в процессе поиска нужных функций увидел заметки об истории этого изображения  Просто Лена  и  Обработка изображений: кто такая Лена Выбор софта для такой типичной задачки вполне себе наличествует: Scientific Computing with Free software on GNU/Linux HOWTO Пакеты прикладных программ Инструменты визуализации данных для Linux На практике же оказалось не так радужно, как хотелось бы. Из того, что есть в дебиане, работает "из коробки" только пакет octave . Зато для него можно установить множество ра...
Read more

Кольцевые структуры в геофизике

Опубликовал теоретическое обоснование и результаты численной модели для появления кольцевых структур в гравитационном поле. Поскольку найденные структуры существуют после применения фильтра высоких частот к полю, из этого следуют разные интересные вещи. Например, эти же структуры проявляются в цифровой модели рельефа и на космических снимках. Таким образом, подтверждаются практические работы Ю.И. Фивенского о существовании разномасштабных кольцевых структур, их видимости на рельефе и на снимках и пропорциональности их радиусов с глубиной залегания вызывающих их источников таких, как ловушки углеводородов, с коэффициентом около 0.7. Также можно предположить, что снежный покров работает как фильтр высокой частоты, что и позволяет лучше проявиться паттернам на поверхности - для тех конфигураций источников, которые иначе без фильтрации гравитационного поля не различимы. Ссылка на гитхаб-репозиторий со статьями: https://github.com/mobigroup/articles/  Первые две работы вводные, интер...
Read more

Why gravity corrections for latitude/free-air/Bouguer/terrain are obsolete and the spatial filtered observed gravity must be used instead

Link:  https://www.linkedin.com/pulse/why-gravity-correction-latitudefree-airbouguerterrain-pechnikov/ Traditional geophysics uses a set of corrections (reduction) for the observed gravity measurements (https://en.wikipedia.org/wiki/Bouguer_anomaly). But what they mean? In terms of common physics these are just products of spatial bandpass filtering. However geophysics still based on these rough coefficients instead of using spatial bandpass filters. That’s really nonsense when these common tables of coefficients applied to high-resolution data observations! As example we have subcentimeter accuracy and ~100m spatial resolution of altimeter satellite measurements to calculate gravity on the sea surface level. In fact the table-based corrections are only tribute to traditions and these are absolutely useless. Let’s use spatial filters to extract the anomalies of all spatial scales.
Read more