55 Commits
1.5.3 ... 1.5.8

Author SHA1 Message Date
Book Pauk
9c0c83143f Merge branch 'release/1.5.8' 2024-06-04 20:08:44 +07:00
Book Pauk
ac074c4c00 v1.5.8 2024-06-04 20:08:04 +07:00
Book Pauk
9a3ce1e184 Исправлен баг: версия 1.5.7 не создает файл конфигурации (#32) 2024-06-04 20:07:08 +07:00
Book Pauk
e17053141d Небольшие переименования 2024-04-04 18:38:01 +07:00
Book Pauk
320e5aec2a Мелкая поправка 2024-04-04 18:27:11 +07:00
Book Pauk
2d8c1c655a Merge tag '1.5.7' into develop
1.5.7
2024-04-04 18:11:16 +07:00
Book Pauk
7e268fec0b Merge branch 'release/1.5.7' 2024-04-04 18:11:08 +07:00
Book Pauk
1de8af197e 1.5.7 2024-04-04 18:07:06 +07:00
Book Pauk
d01c0744e5 CHANGELOG 2024-04-04 18:06:42 +07:00
Book Pauk
175511ba45 В параметры командной строки добавлена возможность задавать путь к файлу
конфигурации, а все остальные настройки приложения можно указать в нем самом (#30)
2024-04-04 18:02:16 +07:00
Book Pauk
4edcc4c88d Добавлены цели сборки для отдельных платформ 2024-04-04 15:49:47 +07:00
Book Pauk
915716880c Поправки журналирования 2024-04-04 15:14:14 +07:00
Book Pauk
77a7678565 CHANGELOG 2024-04-04 14:08:23 +07:00
Book Pauk
49fd516d45 В параметр bookReadLink конфига добавлен вариант замены DOWNLOAD_URI на uri из ссылки для скачивания книги (#29) 2024-04-04 14:08:15 +07:00
Book Pauk
7e4b548583 CHANGELOG 2024-03-25 16:11:59 +07:00
Book Pauk
981d862fa7 Merge tag '1.5.6' into develop
1.5.6
2024-03-25 16:03:49 +07:00
Book Pauk
fc35a5aa97 Merge branch 'release/1.5.6' 2024-03-25 16:03:44 +07:00
Book Pauk
d52d9d7f20 1.5.6 2024-03-25 16:03:29 +07:00
Book Pauk
a3b83f93c3 Добавлена расшифровка имен жанров в информации о книге(#24) 2024-03-25 16:02:04 +07:00
Book Pauk
2efdc6b0aa CHANGELOG 2024-03-25 16:01:56 +07:00
Book Pauk
1e7d81b181 CHANGELOG 2024-03-25 14:44:05 +07:00
Book Pauk
bbf7b43aa3 В конфиг добавлен параметр logQueries для журналирования запросов и времени их выполнения 2024-03-25 14:42:52 +07:00
Book Pauk
5aefa9e558 Убрано (по умолчанию) ежеминутное журналирование статистики сервера. В конфиг добавлен параметр logServerStats 2024-03-25 14:11:58 +07:00
Book Pauk
605aba7a05 CHANGELOG 2024-03-25 14:11:24 +07:00
Book Pauk
5a43cd0e46 CHANGELOG 2024-03-25 14:09:36 +07:00
Book Pauk
307b9adfa3 Добавлен вывод version.info в статистику по коллекции (#27) 2024-03-25 13:33:58 +07:00
Book Pauk
85a23578e7 Актуализация пакетов 2024-03-25 13:14:52 +07:00
Book Pauk
db0b3c8c62 Добавил дебаг в комменте 2023-06-23 15:42:24 +07:00
Book Pauk
e820c82c56 caniuse-lite update 2023-06-23 13:40:43 +07:00
Book Pauk
ac29dbebba Merge tag '1.5.5' into develop
1.5.5
2023-04-25 16:20:41 +07:00
Book Pauk
84843fb6bd Merge branch 'release/1.5.5' 2023-04-25 16:20:34 +07:00
Book Pauk
74ece78175 CHANGELOG 2023-04-25 16:20:10 +07:00
Book Pauk
b2fcf8d043 Версия 1.5.5 2023-04-25 16:13:20 +07:00
Book Pauk
9ce33715d2 CHANGELOG 2023-04-25 16:10:43 +07:00
Book Pauk
76fc64c1b7 Улучшение работы с inpx: теперь понимает zip-архивы, вложенные в каталоги
Улучшение работы с zip-файлами: теперь понимает кодировку cp866
2023-04-25 16:08:47 +07:00
Book Pauk
b0edc3561e Merge tag '1.5.4' into develop
1.5.4
2023-04-12 18:31:14 +07:00
Book Pauk
c3810d1ff5 Merge branch 'release/1.5.4' 2023-04-12 18:31:10 +07:00
Book Pauk
deeac0be14 Поправлен readme 2023-04-12 18:24:53 +07:00
Book Pauk
70593b5d22 Версия 1.5.4 2023-04-12 18:15:34 +07:00
Book Pauk
4c90844f46 CHANGELOG 2023-04-12 18:14:55 +07:00
Book Pauk
3e2599f233 В readme добавлен раздел "Запуск без сборки релиза" для запуска inpx-web на любых платформах 2023-04-12 18:14:44 +07:00
Book Pauk
8687931274 Улучшена обработка ошибок 2023-04-12 17:53:51 +07:00
Book Pauk
50f7a7800d Исправлен баг с рег.выражениями - не понимал верхний регистр 2023-04-12 17:26:56 +07:00
Book Pauk
eb2fbd20ae CHANGELOG 2023-04-12 17:14:21 +07:00
Book Pauk
24d609d8f1 Улучшена работа с inpx, теперь понимает файлы в каталогах (без zip-архива) 2023-04-12 17:14:12 +07:00
Book Pauk
4b4f7bd697 Улучшено определение кодировки 2023-03-17 13:39:50 +07:00
Book Pauk
bf6cf4238a CHANGELOG 2023-03-17 12:57:51 +07:00
Book Pauk
1daf619a2d Мелкая поправка стилей 2023-03-17 12:56:22 +07:00
Book Pauk
7e8d616c65 CHANGELOG 2023-03-17 12:49:33 +07:00
Book Pauk
d9e19ff9b7 Добавлен поиск по типу файла 2023-03-17 12:45:13 +07:00
Book Pauk
6be1b94b96 Убрал старое 2023-03-17 11:56:02 +07:00
Book Pauk
d6aa43d01b Работа над поиском по типу файла 2023-03-17 11:44:50 +07:00
Book Pauk
14a877d6d1 Мелкая поправка разметки 2023-03-17 10:40:00 +07:00
Book Pauk
82eb78f433 Поправлено время проверки обновления 2023-03-17 10:26:29 +07:00
Book Pauk
8e5e0104a4 Merge tag '1.5.3' into develop
1.5.3
2023-03-02 18:15:23 +07:00
28 changed files with 4649 additions and 3812 deletions

View File

@@ -1,3 +1,27 @@
1.5.7 / 2024-04-04
- В параметр bookReadLink конфига добавлен вариант замены DOWNLOAD_URI на uri из ссылки для скачивания книги (#29)
- В параметры командной строки добавлена возможность задавать путь к файлу конфигурации, а все остальные настройки приложения можно указать в нем самом (#30)
1.5.6 / 2024-03-25
- Добавлен вывод version.info в статистику по коллекции (#27)
- Убрано (по умолчанию) ежеминутное журналирование статистики сервера. В конфиг добавлен параметр logServerStats (#26)
- В конфиг добавлен параметр logQueries для журналирования запросов и времени их выполнения
- Добавлена расшифровка имен жанров в информации о книге (#24)
1.5.5 / 2023-04-25
- Улучшение работы с inpx: теперь понимает zip-архивы, вложенные в каталоги (библиотека Траума)
- Улучшение работы с zip-файлами: теперь понимает кодировку cp866 в именах файлов
1.5.4 / 2023-04-12
- Добавлена возможность поиска по типу файла
- Улучшена работа с inpx, теперь понимает файлы в каталогах (без zip-архива)
- В readme добавлен раздел "Запуск без сборки релиза" для запуска inpx-web на любых платформах
- Исправления мелких багов
1.5.3 / 2023-03-02
- OPDS: исправление проблемы поиска для koreader

105
README.md
View File

@@ -29,7 +29,8 @@ OPDS-сервер доступен по адресу [http://127.0.0.1:12380/opd
* [Удаленная библиотека](#remotelib)
* [Фильтр по авторам и книгам](#filter)
* [Настройка https с помощью nginx](#https)
* [Сборка проекта](#build)
* [Сборка релизов](#build)
* [Запуск без сборки релиза](#native_run)
* [Разработка](#development)
<a id="capabilities" />
@@ -65,29 +66,63 @@ OPDS-сервер доступен по адресу [http://127.0.0.1:12380/opd
Usage: inpx-web [options]
Options:
--help Показать опции командной строки
--host=<ip> Задать имя хоста для веб сервера, по умолчанию: 0.0.0.0
--port=<port> Задать порт для веб сервера, по умолчанию: 12380
--app-dir=<dirpath> Задать рабочую директорию, по умолчанию: <execDir>/.inpx-web
--lib-dir=<dirpath> Задать директорию библиотеки (с zip-архивами), по умолчанию: там же, где лежит файл приложения
--inpx=<filepath> Задать путь к файлу .inpx, по умолчанию: тот, что найдется в директории библиотеки
--recreate Принудительно пересоздать поисковую БД при запуске приложения
--help Показать опции командной строки
--host=<ip> Задать имя хоста для веб сервера, по умолчанию: 0.0.0.0
--port=<port> Задать порт для веб сервера, по умолчанию: 12380
--config=<filepath> Задать файл конфигурации, по умолчанию: <dataDir>/config.json
--data-dir=<dirpath> (или --app-dir) Задать рабочую директорию, по умолчанию: <execDir>/.inpx-web
--lib-dir=<dirpath> Задать директорию библиотеки (с zip-архивами), по умолчанию: там же, где лежит файл приложения
--inpx=<filepath> Задать путь к файлу .inpx, по умолчанию: тот, что найдется в директории библиотеки
--recreate Принудительно пересоздать поисковую БД при запуске приложения
--unsafe-filter Использовать небезопасный фильтр на свой страх и риск
```
<a id="config" />
### Конфигурация
При первом запуске в рабочей директории будет создан конфигурационный файл `config.json`:
По умолчанию, при первом запуске в рабочей директории будет создан конфигурационный файл `config.json`.
При необходимости, можно настроить нужный параметр в этом файле вручную. Параметры командной
строки имеют больший приоритет, чем настройки из `config.json`.
```js
{
// рабочая директория приложения, аналог параметра командной строки --data-dir (или --app-dir)
// пустая строка: использовать значение по умолчанию - <execDir>/.inpx-web
// где execDir - директория файла приложения
"dataDir": "",
// директория для хранения временных файлов
// пустая строка: использовать значение по умолчанию - <dataDir>/tmp
// специальное значение "${OS}" указывается для использования системного каталога:
// "${OS}" => "<os_temporary_dir>/inpx-web"
"tempDir": "",
// директория для хранения логов
// пустая строка: использовать значение по умолчанию - <dataDir>/logs
"logDir": "",
// директория библиотеки (с zip-архивами), аналог параметра командной строки --lib-dir
// пустая строка: использовать значение по умолчанию - директорию файла приложения
// пустая строка: использовать значение по умолчанию - директорию файла приложения (execDir)
"libDir": "",
// путь к файлу .inpx, аналог параметра командной строки --inpx
// пустая строка: использовать значение по умолчанию - inpx-файл, что найдется в директории библиотеки
"inpx": "",
// конфигурационный файл для фильтра по авторам и книгам (см. ниже)
// пустая строка: использовать значение по умолчанию - файл filter.json в директории файла конфигурации
"inpxFilterFile": "",
// разрешить(true)/запретить(false) перезаписывать файл конфигурации, если появились новые параметры для настройки
// файл перезаписывается с сохранением всех предыдущих настроек и с новыми по умолчанию
// бывает полезно при выходе новых версий приложения
"allowConfigRewrite": false,
// разрешить(true)/запретить(false) использовать небезопасный фильтр (см. ниже)
// аналог параметра командной строки --unsafe-filter
"allowUnsafeFilter": false,
// пароль для ограничения доступа к веб-интерфейсу сервера
// пустое значение - доступ без ограничений
"accessPassword": "",
@@ -105,11 +140,19 @@ Options:
// содержимое кнопки-ссылки "(читать)", если не задано - кнопка "(читать)" не показывается
// пример: "https://omnireader.ru/#/reader?url=${DOWNLOAD_LINK}"
// на место ${DOWNLOAD_LINK} будет подставлена ссылка на скачивание файла книги
// пример: "https://mydomain.ru/#/reader?url=http://127.0.0.1:8086${DOWNLOAD_URI}"
// на место ${DOWNLOAD_URI} будут подставлены параметры (без имени хоста) из ссылки на скачивание файла книги
"bookReadLink": "",
// включить(true)/выключить(false) журналирование
"loggingEnabled": true,
// включить/выключить ежеминутный вывод в лог memUsage и loadAvg
"logServerStats": false,
// включить/выключить вывод в лог запросов и времени их выполнения
"logQueries": false,
// максимальный размер кеша каждой таблицы в БД, в блоках (требуется примерно 1-10Мб памяти на один блок)
// если надо кешировать всю БД, можно поставить значение от 1000 и больше
"dbCacheSize": 5,
@@ -201,9 +244,6 @@ Options:
}
```
При необходимости, можно настроить нужный параметр в этом файле вручную. Параметры командной
строки имеют больший приоритет, чем настройки из `config.json`.
<a id="remotelib" />
### Удаленная библиотека
@@ -238,8 +278,8 @@ Options:
### Фильтр по авторам и книгам
При создании поисковой БД, во время загрузки и парсинга .inpx-файла, имеется возможность
отфильтровать авторов и книги, задав определенные критерии. Для этого небходимо создать
в рабочей директории (там же, где `config.json`) файл `filter.json` следующего вида:
отфильтровать авторов и книги, задав определенные критерии. По умолчанию, для этого небходимо создать
в директории конфигурационного файла (там же, где `config.json`) файл `filter.json` следующего вида:
```json
{
"info": {
@@ -284,8 +324,10 @@ Options:
}
```
Использование `filter` небезопасно, т.к. позволяет выполнить произвольный js-код внутри программы,
поэтому запуск приложения в этом случае должен сопровождаться дополнительным параметром командной строки `--unsafe-filter`.
поэтому запуск приложения в этом случае должен сопровождаться дополнительным параметром командной строки `--unsafe-filter`
или разрешением в конфиге `allowUnsafeFilter`.
Названия атрибутов inpxRec соответствуют названиям в нижнем регистре из структуры structure.info в .inpx-файле.
Файл `filter.json` можно расположить где угодно, что задается параметром `inpxFilterFile` в конфиге.
<a id="https" />
### Настройка https с помощью nginx
@@ -321,7 +363,7 @@ sudo service nginx reload
<a id="build" />
### Сборка проекта
### Сборка релизов
Сборка только в среде Linux.
Необходима версия node.js не ниже 16.
@@ -331,15 +373,36 @@ sudo service nginx reload
git clone https://github.com/bookpauk/inpx-web
cd inpx-web
npm i
```
#### Релизы
```sh
npm run release
```
Результат сборки будет доступен в каталоге `dist/release`
<a id="native_run" />
### Запуск без сборки релиза
Т.к. сборщик pkg поддерживает не все платформы, то не всегда удается собрать релиз.
Однако, можно скачать и запустить inpx-web нативным путем, с помощью nodejs.
Ниже пример для Ubuntu, для других линуксов различия не принципиальны:
```sh
# установка nodejs v16 и выше:
curl -s https://deb.nodesource.com/setup_16.x | sudo bash
sudo apt install nodejs -y
# подготовка
git clone https://github.com/bookpauk/inpx-web
cd inpx-web
npm i
npm run build:client && node build/prepkg.js linux
# удалим файл development-среды, чтобы запускался в production-режиме
rm ./server/config/application_env
# запуск inpx-web, тут же будет создан каталог .inpx-web
node server --app-dir=.inpx-web
```
<a id="development" />
### Разработка

View File

@@ -3,6 +3,7 @@ const path = require('path');
const { execSync } = require('child_process');
const pckg = require('../package.json');
const platform = process.argv[2];
const distDir = path.resolve(__dirname, '../dist');
const outDir = `${distDir}/release`;
@@ -20,10 +21,14 @@ async function makeRelease(target) {
async function main() {
try {
await fs.emptyDir(outDir);
await makeRelease('win');
await makeRelease('linux');
await makeRelease('linux-arm64');
await makeRelease('macos');
if (platform) {
await makeRelease(platform);
} else {
await makeRelease('win');
await makeRelease('linux');
await makeRelease('linux-arm64');
await makeRelease('macos');
}
} catch(e) {
console.error(e);
process.exit(1);

View File

@@ -126,9 +126,9 @@
</div>
<!-- Формирование списка конец ------------------------------------------------------------------>
<div v-if="!refreshing && !tableData.length" class="row items-center q-ml-md" style="font-size: 120%">
<div v-if="!refreshing && (!tableData.length || error)" class="row items-center q-ml-md" style="font-size: 120%">
<q-icon class="la la-meh q-mr-xs" size="28px" />
Поиск не дал результатов
{{ (error ? error : 'Поиск не дал результатов') }}
</div>
</div>
</template>
@@ -438,6 +438,7 @@ class AuthorList extends BaseList {
if (this.refreshing)
return;
this.error = '';
this.refreshing = true;
(async() => {
@@ -467,7 +468,12 @@ class AuthorList extends BaseList {
this.highlightPageScroller(query);
}
} catch (e) {
this.$root.stdDialog.alert(e.message, 'Ошибка');
this.list.queryFound = 0;
this.list.totalFound = 0;
this.searchResult = {found: []};
await this.updateTableData();
//this.$root.stdDialog.alert(e.message, 'Ошибка');
this.error = `Ошибка: ${e.message}`;
}
}
} finally {

View File

@@ -48,6 +48,7 @@ export default class BaseList {
genreMap: Object,
};
error = '';
loadingMessage = '';
loadingMessage2 = '';
@@ -177,7 +178,18 @@ export default class BaseList {
if (this.list.liberamaReady) {
this.$emit('listEvent', {action: 'submitUrl', data: href});
} else {
const url = this.config.bookReadLink.replace('${DOWNLOAD_LINK}', href);
const bookReadLink = this.config.bookReadLink;
let url = bookReadLink;
if (bookReadLink.indexOf('${DOWNLOAD_LINK}') >= 0) {
url = bookReadLink.replace('${DOWNLOAD_LINK}', href);
} else if (bookReadLink.indexOf('${DOWNLOAD_URI}') >= 0) {
const hrefUrl = new URL(href);
const urlWithoutHost = hrefUrl.pathname + hrefUrl.search + hrefUrl.hash;
url = bookReadLink.replace('${DOWNLOAD_URI}', urlWithoutHost);
}
window.open(url, '_blank');
}
} else if (action == 'bookInfo') {
@@ -371,7 +383,8 @@ export default class BaseList {
bookValue = emptyFieldValue;
bookValue = bookValue.toLowerCase();
searchValue = searchValue.toLowerCase();
if (searchValue[0] !== '~')
searchValue = searchValue.toLowerCase();
//особая обработка префиксов
if (searchValue[0] == '=') {
@@ -450,6 +463,13 @@ export default class BaseList {
librateFound = searchLibrate.has(book.librate);
}
//ext
let extFound = !s.ext;
if (!extFound) {
const searchExt = new Set(s.ext.split('|'));
extFound = searchExt.has(book.ext.toLowerCase() || emptyFieldValue);
}
return (this.showDeleted || !book.del)
&& authorFound
&& filterBySearch(book.series, s.series)
@@ -458,6 +478,7 @@ export default class BaseList {
&& langFound
&& dateFound
&& librateFound
&& extFound
;
});
}

View File

@@ -20,7 +20,7 @@
<div class="poster-size">
<div class="column justify-center items-center" :class="{'poster': coverSrc, 'no-poster': !coverSrc}" @click.stop.prevent="posterClick">
<img v-if="coverSrc" :src="coverSrc" class="fit row justify-center items-center" style="object-fit: contain" @error="coverSrc = ''" />
<div v-if="!coverSrc" class="fit row justify-center items-center text-grey-5" style="border: 1px solid #ccc; font-size: 300%">
<div v-if="!coverSrc" class="fit row justify-center items-center text-grey-5 overflow-hidden" style="border: 1px solid #ccc; font-size: 300%">
<i>{{ book.ext }}</i>
</div>
</div>
@@ -118,6 +118,7 @@ class BookInfoDialog {
_props = {
modelValue: Boolean,
bookInfo: Object,
genreMap: Object,
};
dialogVisible = false;
@@ -169,6 +170,19 @@ class BookInfoDialog {
return `${size.toFixed(1)} ${unit}`;
}
convertGenres(genreArr) {
let result = [];
if (genreArr) {
for (const genre of genreArr) {
const g = genre.trim();
const name = this.genreMap.get(g);
result.push(name ? name : g);
}
}
return result.join(', ');
}
get inpx() {
const mapping = [
{name: 'fileInfo', label: 'Информация о файле', value: [
@@ -211,6 +225,9 @@ class BookInfoDialog {
if (nodePath == 'titleInfo/author')
return value.split(',').join(', ');
if (nodePath == 'titleInfo/genre')
return this.convertGenres(value.split(','));
if (nodePath == 'titleInfo/librate' && !value)
return null;
@@ -279,11 +296,16 @@ class BookInfoDialog {
}
}
const self = this;
this.fb2 = parser.bookInfoList(infoObj, {
valueToString(value, nodePath, origVTS) {//eslint-disable-line no-unused-vars
if (nodePath == 'documentInfo/historyHtml' && value)
return value.replace(/<p>/g, `<p class="p-history">`);
if ((nodePath == 'titleInfo/genre' || nodePath == 'srcTitleInfo/genre') && value) {
return self.convertGenres(value);
}
return origVTS(value, nodePath);
},
});

View File

@@ -14,9 +14,9 @@
</div>
<!-- Формирование списка конец ------------------------------------------------------------------>
<div v-if="!refreshing && !tableData.length" class="row items-center q-ml-md" style="font-size: 120%">
<div v-if="!refreshing && (!tableData.length || error)" class="row items-center q-ml-md" style="font-size: 120%">
<q-icon class="la la-meh q-mr-xs" size="28px" />
Поиск не дал результатов
{{ (error ? error : 'Поиск не дал результатов') }}
</div>
</div>
</template>
@@ -74,6 +74,7 @@ class ExtendedList extends BaseList {
if (this.refreshing)
return;
this.error = '';
this.refreshing = true;
(async() => {
@@ -103,7 +104,12 @@ class ExtendedList extends BaseList {
this.highlightPageScroller(query);
}
} catch (e) {
this.$root.stdDialog.alert(e.message, 'Ошибка');
this.list.queryFound = 0;
this.list.totalFound = 0;
this.searchResult = {found: []};
await this.updateTableData();
//this.$root.stdDialog.alert(e.message, 'Ошибка');
this.error = `Ошибка: ${e.message}`;
}
}
} finally {

View File

@@ -160,7 +160,7 @@
<div class="q-mx-xs" />
<q-input
v-model="librateNames" :maxlength="inputMaxLength" :debounce="inputDebounce"
class="q-mt-xs col-1" :bg-color="inputBgColor()" input-style="cursor: pointer" style="min-width: 90px;" label="Оценка" stack-label outlined dense clearable readonly
class="q-mt-xs col-2" :bg-color="inputBgColor()" input-style="cursor: pointer" style="min-width: 140px;" label="Оценка" stack-label outlined dense clearable readonly
@click.stop.prevent="selectLibRate"
>
<template v-if="librateNames" #append>
@@ -171,6 +171,21 @@
{{ librateNames }}
</q-tooltip>
</q-input>
<div class="q-mx-xs" />
<q-input
v-model="search.ext" :maxlength="inputMaxLength" :debounce="inputDebounce"
class="q-mt-xs col-2" :bg-color="inputBgColor()" input-style="cursor: pointer" style="min-width: 140px;" label="Тип файла" stack-label outlined dense clearable readonly
@click.stop.prevent="selectExt"
>
<template v-if="search.ext" #append>
<q-icon name="la la-times-circle" class="q-field__focusable-action" @click.stop.prevent="search.ext = ''" />
</template>
<q-tooltip v-if="search.ext && showTooltips" :delay="500" anchor="bottom middle" content-style="font-size: 80%" max-width="400px">
{{ search.ext }}
</q-tooltip>
</q-input>
</div>
<div v-show="!isExtendedSearch && !extendedParams && extendedParamsMessage" class="row q-mx-sm items-center clickable" @click.stop.prevent="extendedParams = true">
+{{ extendedParamsMessage }}
@@ -331,7 +346,8 @@
<SelectLangDialog v-model="selectLangDialogVisible" v-model:lang="search.lang" :lang-list="langList" :lang-default="langDefault" />
<SelectLibRateDialog v-model="selectLibRateDialogVisible" v-model:librate="search.librate" />
<SelectDateDialog v-model="selectDateDialogVisible" v-model:date="search.date" />
<BookInfoDialog v-model="bookInfoDialogVisible" :book-info="bookInfo" />
<SelectExtDialog v-model="selectExtDialogVisible" v-model:ext="search.ext" :ext-list="extList" />
<BookInfoDialog v-model="bookInfoDialogVisible" :book-info="bookInfo" :genre-map="genreMap" />
<SelectExtSearchDialog v-model="selectExtSearchDialogVisible" v-model:ext-search="extSearch" />
</div>
</template>
@@ -351,6 +367,7 @@ import SelectGenreDialog from './SelectGenreDialog/SelectGenreDialog.vue';
import SelectLangDialog from './SelectLangDialog/SelectLangDialog.vue';
import SelectLibRateDialog from './SelectLibRateDialog/SelectLibRateDialog.vue';
import SelectDateDialog from './SelectDateDialog/SelectDateDialog.vue';
import SelectExtDialog from './SelectExtDialog/SelectExtDialog.vue';
import BookInfoDialog from './BookInfoDialog/BookInfoDialog.vue';
import SelectExtSearchDialog from './SelectExtSearchDialog/SelectExtSearchDialog.vue';
@@ -384,6 +401,7 @@ const componentOptions = {
SelectLangDialog,
SelectLibRateDialog,
SelectDateDialog,
SelectExtDialog,
BookInfoDialog,
SelectExtSearchDialog,
Dialog,
@@ -495,6 +513,7 @@ class Search {
selectLangDialogVisible = false;
selectLibRateDialogVisible = false;
selectDateDialogVisible = false;
selectExtDialogVisible = false;
bookInfoDialogVisible = false;
selectExtSearchDialogVisible = false;
@@ -531,6 +550,7 @@ class Search {
genreTree = [];
genreMap = new Map();
langList = [];
extList = [];
genreTreeInpxHash = '';
showTooltips = true;
@@ -561,7 +581,7 @@ class Search {
this.commit = this.$store.commit;
this.api = this.$root.api;
this.generateDefaults(this.search, ['author', 'series', 'title', 'genre', 'lang', 'date', 'librate']);
this.generateDefaults(this.search, ['author', 'series', 'title', 'genre', 'lang', 'date', 'librate', 'ext']);
this.search.setDefaults(this.search);
this.loadSettings();
@@ -705,6 +725,7 @@ class Search {
result.push(s.genre ? 'Жанр' : '');
result.push(s.date ? 'Дата поступления' : '');
result.push(s.librate ? 'Оценка' : '');
result.push(s.ext ? 'Тип файла' : '');
return result.filter(s => s).join(', ');
}
@@ -910,6 +931,10 @@ class Search {
<b>collection.info:</b>
<pre>${inpxInfo.collection}</pre>
</div>
<div><hr/>
<b>version.info:</b>
<pre>${inpxInfo.version}</pre>
</div>
`;
this.$root.stdDialog.alert(info, 'Статистика по коллекции', {iconName: 'la la-info-circle'});
@@ -941,6 +966,11 @@ class Search {
this.selectLibRateDialogVisible = true;
}
selectExt() {
this.hideTooltip();
this.selectExtDialogVisible = true;
}
selectExtSearch() {
this.hideTooltip();
this.selectExtSearchDialogVisible = true;
@@ -1079,6 +1109,7 @@ class Search {
lang: (typeof(query.lang) == 'string' ? query.lang : this.langDefault),
date: query.date,
librate: query.librate,
ext: query.ext,
page: parseInt(query.page, 10),
limit: parseInt(query.limit, 10) || this.search.limit,
@@ -1170,6 +1201,7 @@ class Search {
}
this.langList = result.langList;
this.extList = result.extList;
this.genreTreeInpxHash = result.inpxHash;
}
} catch (e) {

View File

@@ -0,0 +1,187 @@
<template>
<Dialog ref="dialog" v-model="dialogVisible">
<template #header>
<div class="row items-center">
<div style="font-size: 110%">
Выбрать типы файлов
</div>
</div>
</template>
<div ref="box" class="column q-mt-xs overflow-auto no-wrap" style="width: 370px; padding: 0px 10px 10px 10px;">
<div v-show="extList.length" class="checkbox-tick-all">
<div class="row items-center">
<q-option-group
v-model="ticked"
:options="optionsPre"
type="checkbox"
inline
>
<template #label="opt">
<div class="row items-center" style="width: 35px">
<span>{{ opt.label }}</span>
</div>
</template>
</q-option-group>
</div>
<q-checkbox v-model="tickAll" label="Выбрать/снять все" toggle-order="ft" @update:model-value="makeTickAll" />
</div>
<q-option-group
v-model="ticked"
:options="options"
type="checkbox"
>
</q-option-group>
</div>
<template #footer>
<q-btn class="q-px-md q-ml-sm" color="primary" dense no-caps @click="okClick">
OK
</q-btn>
</template>
</Dialog>
</template>
<script>
//-----------------------------------------------------------------------------
import vueComponent from '../../vueComponent.js';
import Dialog from '../../share/Dialog.vue';
const componentOptions = {
components: {
Dialog
},
watch: {
modelValue(newValue) {
this.dialogVisible = newValue;
if (newValue)
this.init();//no await
},
dialogVisible(newValue) {
this.$emit('update:modelValue', newValue);
},
ext() {
this.updateTicked();
},
ticked() {
this.checkAllTicked();
this.updateExt();
},
}
};
class SelectExtDialog {
_options = componentOptions;
_props = {
modelValue: Boolean,
ext: {type: String, value: ''},
extList: Array,
};
dialogVisible = false;
ticked = [];
tickAll = false;
created() {
this.commit = this.$store.commit;
}
mounted() {
this.updateTicked();
}
async init() {
//await this.$refs.dialog.waitShown();
}
get options() {
const result = [];
for (const ext of this.extList) {
if (ext.length <= 4)
result.push({label: ext, value: ext});
}
for (const ext of this.extList) {
if (ext.length > 4)
result.push({label: ext, value: ext});
}
return result;
}
get optionsPre() {
const result = [];
for (const ext of ['fb2', 'epub', 'mobi', 'pdf', 'djvu', 'doc', 'docx', 'rtf', 'xml', 'html', 'txt', 'zip']) {
if (this.extList.includes(ext)) {
result.push({label: ext, value: ext});
}
}
return result;
}
makeTickAll() {
if (this.tickAll) {
const newTicked = [];
for (const ext of this.extList) {
newTicked.push(ext);
}
this.ticked = newTicked;
} else {
this.ticked = [];
this.tickAll = false;
}
}
checkAllTicked() {
const ticked = new Set(this.ticked);
let newTickAll = !!(this.extList.length);
for (const ext of this.extList) {
if (!ticked.has(ext)) {
newTickAll = false;
break;
}
}
if (this.ticked.length && !newTickAll) {
this.tickAll = undefined;
} else {
this.tickAll = newTickAll;
}
}
updateTicked() {
this.ticked = this.ext.split('|').filter(s => s);
}
updateExt() {
this.$emit('update:ext', this.ticked.join('|'));
}
okClick() {
this.dialogVisible = false;
}
}
export default vueComponent(SelectExtDialog);
//-----------------------------------------------------------------------------
</script>
<style scoped>
.checkbox-tick-all {
border-bottom: 1px solid #bbbbbb;
margin-bottom: 7px;
padding: 5px 5px 2px 0px;
}
.clickable {
color: blue;
cursor: pointer;
}
</style>

View File

@@ -145,7 +145,7 @@ class SelectExtSearchDialog {
Атрибуты можно увидеть, если включить опцию "Показывать JSON".
Названия атрибутов (кроме "_uid" и "id") соответствуют названиям полей струкутры записей из inpx-файла.
На поисковые значения действуют те же правила, что и для разделов "Авторы", "Серии", "Книги".
<br>
<br><br>
Для строковых значений (S):
<ul>
<li>

View File

@@ -96,9 +96,9 @@
</div>
<!-- Формирование списка конец ------------------------------------------------------------------>
<div v-if="!refreshing && !tableData.length" class="row items-center q-ml-md" style="font-size: 120%">
<div v-if="!refreshing && (!tableData.length || error)" class="row items-center q-ml-md" style="font-size: 120%">
<q-icon class="la la-meh q-mr-xs" size="28px" />
Поиск не дал результатов
{{ (error ? error : 'Поиск не дал результатов') }}
</div>
</div>
</template>
@@ -234,6 +234,7 @@ class SeriesList extends BaseList {
if (this.refreshing)
return;
this.error = '';
this.refreshing = true;
(async() => {
@@ -263,7 +264,12 @@ class SeriesList extends BaseList {
this.highlightPageScroller(query);
}
} catch (e) {
this.$root.stdDialog.alert(e.message, 'Ошибка');
this.list.queryFound = 0;
this.list.totalFound = 0;
this.searchResult = {found: []};
await this.updateTableData();
//this.$root.stdDialog.alert(e.message, 'Ошибка');
this.error = `Ошибка: ${e.message}`;
}
}
} finally {

View File

@@ -22,9 +22,9 @@
</div>
<!-- Формирование списка конец ------------------------------------------------------------------>
<div v-if="!refreshing && !tableData.length" class="row items-center q-ml-md" style="font-size: 120%">
<div v-if="!refreshing && (!tableData.length || error)" class="row items-center q-ml-md" style="font-size: 120%">
<q-icon class="la la-meh q-mr-xs" size="28px" />
Поиск не дал результатов
{{ (error ? error : 'Поиск не дал результатов') }}
</div>
</div>
</template>
@@ -95,6 +95,7 @@ class TitleList extends BaseList {
if (this.refreshing)
return;
this.error = '';
this.refreshing = true;
(async() => {
@@ -124,7 +125,12 @@ class TitleList extends BaseList {
this.highlightPageScroller(query);
}
} catch (e) {
this.$root.stdDialog.alert(e.message, 'Ошибка');
this.list.queryFound = 0;
this.list.totalFound = 0;
this.searchResult = {found: []};
await this.updateTableData();
//this.$root.stdDialog.alert(e.message, 'Ошибка');
this.error = `Ошибка: ${e.message}`;
}
}
} finally {

View File

@@ -87,35 +87,6 @@ export async function copyTextToClipboard(text) {
return result;
}
/*
export function formatDate(d, format = 'normal') {
switch (format) {
case 'normal':
return `${d.getDate().toString().padStart(2, '0')}.${(d.getMonth() + 1).toString().padStart(2, '0')}.${d.getFullYear()} ` +
`${d.getHours().toString().padStart(2, '0')}:${d.getMinutes().toString().padStart(2, '0')}`;
case 'coDate':
return `${d.getFullYear()}-${(d.getMonth() + 1).toString().padStart(2, '0')}-${d.getDate().toString().padStart(2, '0')}`;
case 'coMonth':
return `${(d.getMonth() + 1).toString().padStart(2, '0')}`;
case 'noDate':
return `${d.getDate().toString().padStart(2, '0')}.${(d.getMonth() + 1).toString().padStart(2, '0')}.${d.getFullYear()}`;
default:
throw new Error('formatDate: unknown date format');
}
}
export function parseDate(sqlDate) {
const d = sqlDate.split('-');
const result = new Date();
result.setDate(parseInt(d[2], 10));
result.setMonth(parseInt(d[1], 10) - 1);
result.setYear(parseInt(d[0], 10));
return result;
}
*/
export function isDigit(c) {
return !isNaN(parseInt(c, 10));
}

7543
package-lock.json generated

File diff suppressed because it is too large Load Diff

View File

@@ -1,6 +1,6 @@
{
"name": "inpx-web",
"version": "1.5.3",
"version": "1.5.8",
"author": "Book Pauk <bookpauk@gmail.com>",
"license": "CC0-1.0",
"repository": "bookpauk/inpx-web",
@@ -17,6 +17,10 @@
"build:client-dev": "webpack --config build/webpack.dev.config.js",
"build:all": "npm run build:linux && npm run build:win && npm run build:macos && npm run build:linux-arm64",
"release": "npm run build:all && node build/release.js",
"release:linux": "npm run build:linux && node build/release.js linux",
"release:win": "npm run build:win && node build/release.js win",
"release:macos": "npm run build:macos && node build/release.js macos",
"release:arm64": "npm run build:linux-arm64 && node build/release.js arm64",
"postinstall": "npm run build:client-dev"
},
"bin": "server/index.js",
@@ -25,38 +29,38 @@
"assets": "dist/public.json"
},
"devDependencies": {
"@babel/core": "^7.20.5",
"@babel/eslint-parser": "^7.19.1",
"@babel/eslint-plugin": "^7.19.1",
"@babel/plugin-proposal-decorators": "^7.20.5",
"@babel/preset-env": "^7.20.2",
"@babel/core": "^7.24.3",
"@babel/eslint-parser": "^7.24.1",
"@babel/eslint-plugin": "^7.23.5",
"@babel/plugin-proposal-decorators": "^7.24.1",
"@babel/preset-env": "^7.24.3",
"@vue/compiler-sfc": "^3.2.22",
"babel-loader": "^9.1.0",
"babel-loader": "^9.1.3",
"copy-webpack-plugin": "^11.0.0",
"css-loader": "^6.7.2",
"css-loader": "^6.10.0",
"css-minimizer-webpack-plugin": "^4.2.2",
"eslint": "^8.28.0",
"eslint-plugin-vue": "^9.8.0",
"html-webpack-plugin": "^5.5.0",
"mini-css-extract-plugin": "^2.7.1",
"pkg": "^5.8.0",
"eslint": "^8.57.0",
"eslint-plugin-vue": "^9.23.0",
"html-webpack-plugin": "^5.6.0",
"mini-css-extract-plugin": "^2.8.1",
"pkg": "^5.8.1",
"showdown": "^2.1.0",
"terser-webpack-plugin": "^5.3.6",
"vue-eslint-parser": "^9.1.0",
"vue-loader": "^17.0.1",
"terser-webpack-plugin": "^5.3.10",
"vue-eslint-parser": "^9.4.2",
"vue-loader": "^17.4.2",
"vue-style-loader": "^4.1.3",
"webpack": "^5.75.0",
"webpack-cli": "^5.0.0",
"webpack-dev-middleware": "^6.0.1",
"webpack-hot-middleware": "^2.25.3",
"webpack-merge": "^5.8.0"
"webpack": "^5.91.0",
"webpack-cli": "^5.1.4",
"webpack-dev-middleware": "^6.1.2",
"webpack-hot-middleware": "^2.26.1",
"webpack-merge": "^5.10.0"
},
"dependencies": {
"@quasar/extras": "^1.15.6",
"@quasar/extras": "^1.16.9",
"axios": "^0.27.2",
"chardet": "^1.5.0",
"dayjs": "^1.11.6",
"express": "^4.18.2",
"chardet": "^1.6.0",
"dayjs": "^1.11.10",
"express": "^4.19.1",
"express-basic-auth": "^1.2.1",
"fs-extra": "^10.1.0",
"he": "^1.2.0",
@@ -64,15 +68,15 @@
"jembadb": "^5.1.7",
"localforage": "^1.10.0",
"lodash": "^4.17.21",
"minimist": "^1.2.7",
"minimist": "^1.2.8",
"node-stream-zip": "^1.15.0",
"quasar": "^2.10.2",
"quasar": "^2.15.1",
"safe-buffer": "^5.2.1",
"vue": "^3.2.37",
"vue-router": "^4.1.6",
"vue-router": "^4.3.0",
"vuex": "^4.1.0",
"vuex-persist": "^3.1.3",
"ws": "^8.11.0",
"ws": "^8.16.0",
"yazl": "^2.5.1"
}
}

View File

@@ -10,18 +10,26 @@ module.exports = {
name: pckg.name,
execDir,
dataDir: '',
tempDir: '',
logDir: '',
libDir: '',
inpx: '',
inpxFilterFile: '',
allowConfigRewrite: false,
allowUnsafeFilter: false,
accessPassword: '',
accessTimeout: 0,
extendedSearch: true,
bookReadLink: '',
loggingEnabled: true,
logServerStats: false,
logQueries: false,
//поправить в случае, если были критические изменения в DbCreator или InpxParser
//иначе будет рассинхронизация по кешу между сервером и клиентом на уровне БД
dbVersion: '11',
dbVersion: '12',
dbCacheSize: 5,
maxPayloadSize: 500,//in MB

View File

@@ -5,13 +5,21 @@ const fs = require('fs-extra');
const branchFilename = __dirname + '/application_env';
const propsToSave = [
'dataDir',
'tempDir',
'logDir',
'libDir',
'inpx',
'inpxFilterFile',
'allowConfigRewrite',
'allowUnsafeFilter',
'accessPassword',
'accessTimeout',
'extendedSearch',
'bookReadLink',
'loggingEnabled',
'logServerStats',
'logQueries',
'dbCacheSize',
'maxFilesDirSize',
'queryCacheEnabled',
@@ -44,7 +52,7 @@ class ConfigManager {
return instance;
}
async init(dataDir) {
async init(defaultDataDir, configFile) {
if (this.inited)
throw new Error('already inited');
@@ -61,14 +69,17 @@ class ConfigManager {
this.branchConfigFile = __dirname + `/${this.branch}.js`;
const config = require(this.branchConfigFile);
if (dataDir) {
config.dataDir = path.resolve(dataDir);
} else {
config.dataDir = `${config.execDir}/.${config.name}`;
if (!defaultDataDir) {
defaultDataDir = `${config.execDir}/.${config.name}`;
}
if (configFile) {
config.configFile = path.resolve(configFile);
} else {
await fs.ensureDir(defaultDataDir);
config.configFile = `${defaultDataDir}/config.json`;
}
await fs.ensureDir(config.dataDir);
this._userConfigFile = `${config.dataDir}/config.json`;
this._config = config;
this.inited = true;
@@ -84,37 +95,31 @@ class ConfigManager {
Object.assign(this._config, value);
}
get userConfigFile() {
return this._userConfigFile;
}
set userConfigFile(value) {
if (value)
this._userConfigFile = value;
}
async load() {
try {
if (!this.inited)
throw new Error('not inited');
if (await fs.pathExists(this.userConfigFile)) {
const data = JSON.parse(await fs.readFile(this.userConfigFile, 'utf8'));
if (await fs.pathExists(this._config.configFile)) {
const data = JSON.parse(await fs.readFile(this._config.configFile, 'utf8'));
const config = _.pick(data, propsToSave);
this.config = config;
//сохраним конфиг, если не все атрибуты присутствуют в файле конфига
for (const prop of propsToSave)
if (!Object.prototype.hasOwnProperty.call(config, prop)) {
await this.save();
break;
if (config.allowConfigRewrite) {
for (const prop of propsToSave) {
if (!Object.prototype.hasOwnProperty.call(config, prop)) {
await this.save();
break;
}
}
}
} else {
await this.save();
}
} catch(e) {
throw new Error(`Error while loading "${this.userConfigFile}": ${e.message}`);
throw new Error(`Error while loading "${this._config.configFile}": ${e.message}`);
}
}
@@ -123,7 +128,7 @@ class ConfigManager {
throw new Error('not inited');
const dataToSave = _.pick(this._config, propsToSave);
await fs.writeFile(this.userConfigFile, JSON.stringify(dataToSave, null, 4));
await fs.writeFile(this._config.configFile, JSON.stringify(dataToSave, null, 4));
}
}

View File

@@ -56,11 +56,12 @@ class WebSocketController {
async onMessage(ws, message) {
let req = {};
try {
if (this.isDevelopment) {
log(`WebSocket-IN: ${message.substr(0, 4000)}`);
if (this.isDevelopment || this.config.logQueries) {
log(`WebSocket-IN: ${utils.cutString(message)}`);
}
req = JSON.parse(message);
req.__startTime = Date.now();
ws.lastActivity = Date.now();
@@ -123,8 +124,9 @@ class WebSocketController {
const message = JSON.stringify(r);
ws.send(message);
if (this.isDevelopment) {
log(`WebSocket-OUT: ${message.substr(0, 200)}`);
if (this.isDevelopment || this.config.logQueries) {
log(`WebSocket-OUT: ${utils.cutString(message)}`);
log(`${Date.now() - req.__startTime}ms`);
}
}

View File

@@ -64,6 +64,8 @@ class DbCreator {
let dateArr = [];
let librateMap = new Map();//оценка
let librateArr = [];
let extMap = new Map();//тип файла
let extArr = [];
let uidSet = new Set();//уникальные идентификаторы
@@ -215,6 +217,9 @@ class DbCreator {
//оценка
parseField(rec.librate, librateMap, librateArr, rec.id);
//тип файла
parseField(rec.ext, extMap, extArr, rec.id);
};
//основная процедура парсинга
@@ -272,6 +277,8 @@ class DbCreator {
delMap = null;
dateMap = null;
librateMap = null;
extMap = null;
uidSet = null;
await db.close({table: 'book'});
@@ -408,6 +415,9 @@ class DbCreator {
//librate
await saveTable('librate', librateArr, () => {librateArr = null}, 'number');
//ext
await saveTable('ext', extArr, () => {extArr = null});
//кэш-таблицы запросов
await db.create({table: 'query_cache'});
await db.create({table: 'query_time'});

View File

@@ -49,7 +49,8 @@ class DbSearcher {
getWhere(a) {
const db = this.db;
a = a.toLowerCase();
if (a[0] !== '~')
a = a.toLowerCase();
let where;
//особая обработка префиксов
@@ -288,6 +289,42 @@ class DbSearcher {
idsArr.push(ids);
}
//тип файла
if (query.ext) {
const key = `book-ids-ext-${query.ext}`;
let ids = await this.getCached(key);
if (ids === null) {
const extRows = await db.select({
table: 'ext',
rawResult: true,
where: `
const exts = ${db.esc(query.ext.split('|'))};
const ids = new Set();
for (const l of exts) {
for (const id of @indexLR('value', l, l))
ids.add(id);
}
const result = new Set();
for (const id of ids) {
const row = @unsafeRow(id);
for (const bookId of row.bookIds)
result.add(bookId);
}
return new Uint32Array(result);
`
});
ids = extRows[0].rawResult;
await this.putCached(key, ids);
}
idsArr.push(ids);
}
if (idsArr.length > 1) {
//ищем пересечение множеств
let proc = 0;

View File

@@ -2,6 +2,7 @@ const os = require('os');
const path = require('path');
const fs = require('fs-extra');
const _ = require('lodash');
const iconv = require('iconv-lite');
const ZipReader = require('./ZipReader');
const WorkerState = require('./WorkerState');//singleton
@@ -30,7 +31,7 @@ const stateToText = {
};
const cleanDirInterval = 60*60*1000;//каждый час
const checkReleaseInterval = 2*60*60*1000;//каждые 2 часа
const checkReleaseInterval = 7*60*60*1000;//каждые 7 часов
//singleton
let instance = null;
@@ -313,7 +314,7 @@ class WebWorker {
let result;
const db = this.db;
if (!db.wwCache.genres) {
if (!db.wwCache.genreTree) {
const genres = _.cloneDeep(genreTree);
const last = genres[genres.length - 1];
@@ -350,45 +351,87 @@ class WebWorker {
rows = await db.select({table: 'lang', map: `(r) => ({value: r.value})`});
const langs = rows.map(r => r.value);
// exts
rows = await db.select({table: 'ext', map: `(r) => ({value: r.value})`});
const exts = rows.map(r => r.value);
result = {
genreTree: genres,
langList: langs,
extList: exts,
inpxHash: (config.inpxHash ? config.inpxHash : ''),
};
db.wwCache.genres = result;
db.wwCache.genreTree = result;
} else {
result = db.wwCache.genres;
result = db.wwCache.genreTree;
}
return result;
}
async extractBook(bookPath) {
async getGenreMap() {
this.checkMyState();
let result;
const db = this.db;
if (!db.wwCache.genreMap) {
const genreTree = await this.getGenreTree();
result = new Map();
for (const section of genreTree.genreTree) {
for (const g of section.value)
result.set(g.value, g.name);
}
db.wwCache.genreMap = result;
} else {
result = db.wwCache.genreMap;
}
return result;
}
async extractBook(libFolder, libFile) {
const outFile = `${this.config.tempDir}/${utils.randomHexString(30)}`;
const folder = `${this.config.libDir}/${path.dirname(bookPath)}`;
const file = path.basename(bookPath);
libFolder = libFolder.replace(/\\/g, '/').replace(/\/\//g, '/');
const zipReader = new ZipReader();
await zipReader.open(folder);
const folder = `${this.config.libDir}/${libFolder}`;
const file = libFile;
const fullPath = `${folder}/${file}`;
try {
await zipReader.extractToFile(file, outFile);
if (!file || await fs.pathExists(fullPath)) {// файл есть на диске
await fs.copy(fullPath, outFile);
return outFile;
} finally {
await zipReader.close();
} else {// файл в zip-архиве
const zipReader = new ZipReader();
await zipReader.open(folder);
try {
await zipReader.extractToFile(file, outFile);
if (!await fs.pathExists(outFile)) {//не удалось найти в архиве, попробуем имя файла в кодировке cp866
await zipReader.extractToFile(iconv.encode(file, 'cp866').toString(), outFile);
}
return outFile;
} finally {
await zipReader.close();
}
}
}
async restoreBook(bookUid, bookPath, downFileName) {
async restoreBook(bookUid, libFolder, libFile, downFileName) {
const db = this.db;
let extractedFile = '';
let hash = '';
if (!this.remoteLib) {
extractedFile = await this.extractBook(bookPath);
extractedFile = await this.extractBook(libFolder, libFile);
hash = await utils.getFileHash(extractedFile, 'sha256', 'hex');
} else {
hash = await this.remoteLib.downloadBook(bookUid);
@@ -408,7 +451,7 @@ class WebWorker {
await utils.touchFile(bookFile);
}
await fs.writeFile(bookFileDesc, JSON.stringify({bookPath, downFileName}));
await fs.writeFile(bookFileDesc, JSON.stringify({libFolder, libFile, downFileName}));
} else {
if (extractedFile)
await fs.remove(extractedFile);
@@ -421,8 +464,7 @@ class WebWorker {
table: 'file_hash',
replace: true,
rows: [
{id: bookPath, hash},
{id: hash, bookPath, downFileName}
{id: bookUid, hash},
]
});
@@ -436,7 +478,7 @@ class WebWorker {
const db = this.db;
let link = '';
//найдем downFileName и bookPath
//найдем downFileName, libFolder, libFile
let rows = await db.select({table: 'book', where: `@@hash('_uid', ${db.esc(bookUid)})`});
if (!rows.length)
throw new Error('404 Файл не найден');
@@ -463,11 +505,12 @@ class WebWorker {
if (downFileName.substring(downFileName.length - ext.length) != ext)
downFileName += ext;
const bookPath = `${book.folder}/${book.file}${ext}`;
const libFolder = book.folder;
const libFile = `${book.file}${ext}`;
//найдем хеш
rows = await db.select({table: 'file_hash', where: `@@id(${db.esc(bookPath)})`});
if (rows.length) {//хеш найден по bookPath
rows = await db.select({table: 'file_hash', where: `@@id(${db.esc(bookUid)})`});
if (rows.length) {//хеш найден по bookUid
const hash = rows[0].hash;
const bookFile = `${this.config.bookDir}/${hash}`;
const bookFileDesc = `${bookFile}.d.json`;
@@ -478,13 +521,13 @@ class WebWorker {
}
if (!link) {
link = await this.restoreBook(bookUid, bookPath, downFileName)
link = await this.restoreBook(bookUid, libFolder, libFile, downFileName);
}
if (!link)
throw new Error('404 Файл не найден');
return {link, bookPath, downFileName};
return {link, libFolder, libFile, downFileName};
} catch(e) {
log(LM_ERR, `getBookLink error: ${e.message}`);
if (e.message.indexOf('ENOENT') >= 0)
@@ -583,16 +626,16 @@ class WebWorker {
let loadAvg = os.loadavg();
loadAvg = loadAvg.map(v => v.toFixed(2));
log(`Server info [ memUsage: ${memUsage.toFixed(2)}MB, loadAvg: (${loadAvg.join(', ')}) ]`);
if (this.config.server.ready)
log(`Server accessible at http://127.0.0.1:${this.config.server.port} (listening on ${this.config.server.host}:${this.config.server.port})`);
log(`Server stats [ memUsage: ${memUsage.toFixed(2)}MB, loadAvg: (${loadAvg.join(', ')}) ]`);
} catch (e) {
log(LM_ERR, e.message);
}
}
async periodicLogServerStats() {
if (!this.config.logServerStats)
return;
while (1) {// eslint-disable-line
this.logServerStats();
await utils.sleep(60*1000);
@@ -616,8 +659,6 @@ class WebWorker {
}
}
log(LM_WARN, `clean dir ${dir}, maxSize=${maxSize}, found ${files.length} files, total size=${size}`);
files.sort((a, b) => a.stat.mtimeMs - b.stat.mtimeMs);
let i = 0;
@@ -630,7 +671,10 @@ class WebWorker {
i++;
}
log(LM_WARN, `removed ${i} files`);
if (i) {
log(LM_WARN, `clean dir ${dir}, maxSize=${maxSize}, found ${files.length} files, total size=${size}`);
log(LM_WARN, `removed ${i} files`);
}
}
async periodicCleanDir(dirConfig) {
@@ -684,7 +728,7 @@ class WebWorker {
log('inpx file: changes found, recreating DB');
await this.recreateDb();
} else {
log('inpx file: no changes');
//log('inpx file: no changes');
}
} catch(e) {
log(LM_ERR, `periodicCheckInpx: ${e.message}`);

View File

@@ -35,7 +35,7 @@ class Fb2Helper {
if (m) {
let enc = m[1].toLowerCase();
if (enc != 'utf-8') {
//enc может не соответсвовать реальной кодировке файла, поэтому:
//если кодировка не определена в getEncoding, используем enc
if (encoding.indexOf('ISO-8859') >= 0) {
encoding = enc;
}

View File

@@ -4,7 +4,7 @@ function getEncoding(buf) {
let selected = getEncodingLite(buf);
if (selected == 'ISO-8859-5' && buf.length > 10) {
const charsetAll = chardet.analyse(buf.slice(0, 20000));
const charsetAll = chardet.analyse(buf.slice(0, 100000));
for (const charset of charsetAll) {
if (charset.name.indexOf('ISO-8859') < 0) {
selected = charset.name;
@@ -39,9 +39,7 @@ function getEncodingLite(buf, returnAll) {
'u': 0,
};
const len = buf.length;
const blockSize = (len > 5*3000 ? 3000 : len);
let counter = 0;
const len = (buf.length > 100000 ? 100000 : buf.length);
let i = 0;
let totalChecked = 0;
while (i < len) {
@@ -76,13 +74,6 @@ function getEncodingLite(buf, returnAll) {
if (char > 207 && char < 240) charsets['i'] += lowerCase;
if (char > 175 && char < 208) charsets['i'] += upperCase;
}
counter++;
if (counter > blockSize) {
counter = 0;
i += Math.round(len/2 - 2*blockSize);
}
}
let sorted = Object.keys(charsets).map(function(key) {

View File

@@ -243,7 +243,8 @@ class BasePage {
bookValue = emptyFieldValue;
bookValue = bookValue.toLowerCase();
searchValue = searchValue.toLowerCase();
if (searchValue[0] !== '~')
searchValue = searchValue.toLowerCase();
//особая обработка префиксов
if (searchValue[0] == '=') {

View File

@@ -24,6 +24,19 @@ class BookPage extends BasePage {
return `${size.toFixed(1)} ${unit}`;
}
convertGenres(genreArr) {
let result = [];
if (genreArr) {
for (const genre of genreArr) {
const g = genre.trim();
const name = this.genreMap.get(g);
result.push(name ? name : g);
}
}
return result.join(', ');
}
inpxInfo(bookRec) {
const mapping = [
{name: 'fileInfo', label: 'Информация о файле', value: [
@@ -66,6 +79,9 @@ class BookPage extends BasePage {
if (nodePath == 'titleInfo/author')
return value.split(',').join(', ');
if (nodePath == 'titleInfo/genre')
return this.convertGenres(value.split(','));
if (nodePath == 'titleInfo/librate' && !value)
return null;
@@ -118,6 +134,7 @@ class BookPage extends BasePage {
async body(req) {
const result = {};
this.genreMap = await this.webWorker.getGenreMap();
result.link = this.baseLinks(req, true);
const bookUid = req.query.uid;
@@ -183,7 +200,17 @@ class BookPage extends BasePage {
}
ann = infoObj.titleInfo.annotationHtml || '';
const infoList = parser.bookInfoList(infoObj);
const self = this;
const infoList = parser.bookInfoList(infoObj, {
valueToString(value, nodePath, origVTS) {//eslint-disable-line no-unused-vars
if ((nodePath == 'titleInfo/genre' || nodePath == 'srcTitleInfo/genre') && value) {
return self.convertGenres(value);
}
return origVTS(value, nodePath);
},
});
info += this.htmlInfo('Fb2 инфо', infoList);
}
}

View File

@@ -74,7 +74,12 @@ module.exports = function(app, config) {
if (config.opds.password) {
if (!config.opds.user)
throw new Error('User must not be empty if password set');
/*
app.use((req, res, next) => {
console.log(req.headers);
next();
});
*/
app.use(opdsPaths, basicAuth({
users: {[config.opds.user]: config.opds.password},
challenge: true,

View File

@@ -196,6 +196,20 @@ function wordEnding(num, type = 0) {
}
}
function cutString(data, len = 500) {
try {
if (!data)
return '';
if (typeof(data) !== 'string')
data = JSON.stringify(data);
return `${data.substring(0, len)}${data.length > len ? ' ...' : ''}`;
} catch (e) {
return '';
}
}
module.exports = {
sleep,
processLoop,
@@ -216,4 +230,5 @@ module.exports = {
makeValidFileName,
makeValidFileNameOrEmpty,
wordEnding,
cutString,
};

View File

@@ -1,5 +1,6 @@
const fs = require('fs-extra');
const path = require('path');
const os = require('os');
const express = require('express');
const http = require('http');
@@ -13,7 +14,7 @@ let log;
let config;
let argv;
let branch = '';
const argvStrings = ['host', 'port', 'app-dir', 'lib-dir', 'inpx'];
const argvStrings = ['host', 'port', 'config', 'data-dir', 'app-dir', 'lib-dir', 'inpx'];
function showHelp(defaultConfig) {
console.log(utils.versionText(defaultConfig));
@@ -21,24 +22,27 @@ function showHelp(defaultConfig) {
`Usage: ${defaultConfig.name} [options]
Options:
--help Print ${defaultConfig.name} command line options
--host=<ip> Set web server host, default: ${defaultConfig.server.host}
--port=<port> Set web server port, default: ${defaultConfig.server.port}
--app-dir=<dirpath> Set application working directory, default: <execDir>/.${defaultConfig.name}
--lib-dir=<dirpath> Set library directory, default: the same as ${defaultConfig.name} executable's
--inpx=<filepath> Set INPX collection file, default: the one that found in library dir
--recreate Force recreation of the search database on start
--help Print ${defaultConfig.name} command line options
--host=<ip> Set web server host, default: ${defaultConfig.server.host}
--port=<port> Set web server port, default: ${defaultConfig.server.port}
--config=<filepath> Set config filename, default: <dataDir>/config.json
--data-dir=<dirpath> (or --app-dir) Set application working directory, default: <execDir>/.${defaultConfig.name}
--lib-dir=<dirpath> Set library directory, default: the same as ${defaultConfig.name} executable's
--inpx=<filepath> Set INPX collection file, default: the one that found in library dir
--recreate Force recreation of the search database on start
--unsafe-filter Use filter config at your own risk
`
);
}
async function init() {
argv = require('minimist')(process.argv.slice(2), {string: argvStrings});
const dataDir = argv['app-dir'];
const argvDataDir = argv['data-dir'] || argv['app-dir'];
const configFile = argv['config'];
//config
const configManager = new (require('./config'))();//singleton
await configManager.init(dataDir);
await configManager.init(argvDataDir, configFile);
const defaultConfig = configManager.config;
await configManager.load();
@@ -46,8 +50,12 @@ async function init() {
branch = config.branch;
//dirs
config.tempDir = `${config.dataDir}/tmp`;
config.logDir = `${config.dataDir}/log`;
config.dataDir = config.dataDir || argvDataDir || `${config.execDir}/.${config.name}`;
config.tempDir = config.tempDir || `${config.dataDir}/tmp`;
if (config.tempDir === '${OS}')
config.tempDir = `${os.tmpdir()}/${config.name}`
config.logDir = config.logDir || `${config.dataDir}/log`;
config.publicDir = `${config.dataDir}/public`;
config.publicFilesDir = `${config.dataDir}/public-files`;
config.rootPathStatic = config.server.root || '';
@@ -127,14 +135,34 @@ async function init() {
}
config.recreateDb = argv.recreate || false;
config.inpxFilterFile = `${config.dataDir}/filter.json`;
config.allowUnsafeFilter = argv['unsafe-filter'] || false;
config.inpxFilterFile = config.inpxFilterFile || `${path.dirname(config.configFile)}/filter.json`;
config.allowUnsafeFilter = argv['unsafe-filter'] || config.allowUnsafeFilter || false;
//web app
if (branch !== 'development') {
const createWebApp = require('./createWebApp');
await createWebApp(config);
}
//log dirs
for (const prop of ['configFile', 'dataDir', 'tempDir', 'logDir']) {
log(`${prop}: ${config[prop]}`);
}
if (await fs.pathExists(config.inpxFilterFile))
log(`inpxFilterFile: ${config.inpxFilterFile}`)
}
function logQueries(app) {
app.use(function(req, res, next) {
const start = Date.now();
log(`${req.method} ${req.originalUrl} ${utils.cutString(req.body)}`);
//log(`${JSON.stringify(req.headers, null, 2)}`)
res.once('finish', () => {
log(`${Date.now() - start}ms`);
});
next();
});
}
async function main() {
@@ -168,6 +196,10 @@ async function main() {
const { WebSocketController } = require('./controllers');
new WebSocketController(wss, webAccess, config);
if (config.logQueries) {
logQueries(app);
}
if (devModule) {
devModule.logErrors(app);
} else {
@@ -179,7 +211,7 @@ async function main() {
server.listen(config.server.port, config.server.host, () => {
config.server.ready = true;
log(`Server ready`);
log(`Server accessible at http://127.0.0.1:${config.server.port} (listening on ${config.server.host}:${config.server.port})`);
});
}