Merge branch 'release/0.6.6'

0.6.5

client/components/App.vue

@@ -113,10 +113,13 @@ class App extends Vue {
         this.dispatch('config/loadConfig');
         this.$watch('apiError', function(newError) {
             if (newError) {
+                let mes = newError.message;
+                if (newError.response && newError.response.config)
+                    mes = newError.response.config.url + '<br>' + newError.response.statusText;
                 this.$notify.error({
                     title: 'Ошибка API',
                     dangerouslyUseHTMLString: true,
-                    message: newError.response.config.url + '<br>' + newError.response.statusText
+                    message: mes
                 });
             }
         });

client/components/Reader/HelpPage/CommonHelpPage/CommonHelpPage.vue

@@ -4,7 +4,8 @@
         <ul>
             <li>загрузка любой страницы интернета</li>
             <li>изменение цвета фона, текста, размер и тип шрифта и прочее</li>
-            <li>установка и запоминание текущей позиции и настроек в браузере (в будущем планируется сохранение и на сервер)</li>
+            <li>установка и запоминание текущей позиции и настроек в браузере и на сервере</li>
+            <li>синхронизация данных (настроек и читаемых книг) между различными устройствами</li>
             <li>кэширование файлов книг на клиенте и на сервере</li>
             <li>открытие книг с локального диска</li>
             <li>плавный скроллинг текста</li>
@@ -17,9 +18,15 @@
             <li>поддерживаемые браузеры: Google Chrome, Mozilla Firefox последних версий</li>
         </ul>
 
-        <p>В качестве URL можно задавать html-страничку с книгой, либо прямую ссылку 
+        <p>В качестве URL книги можно задавать html-страничку с книгой, либо прямую ссылку 
         на файл из онлайн-библиотеки (например, скопировав адрес ссылки или кнопки "скачать fb2").</p>
-        <p>Поддерживаемые форматы: <b>fb2, fb2.zip, html, txt</b> и другие</p>
+        <p>Поддерживаемые форматы: <b>fb2, fb2.zip, html, txt</b> и другие.</p>
+
+        <p>Для автономной загрузки читалки (без интернета):<br>
+        В Google Chrome можно установить флаг <span class="clickable" @click="copyText('chrome://flags/#show-saved-copy')">chrome://flags/#show-saved-copy</span>
+           в значение "Primary". В этом случае на стандартной странице "нет соединения" появится кнопка для автономной загрузки сайта из кэша.<br>
+        В Mozilla Firefox в автономном режиме сайт загружается из кэша автоматически. Если этого не происходит, можно установить опцию
+        "Веб-разработка" -> "Работать автономно".</p>
 
         <div v-html="automationHtml"></div>
         <p>Связаться с разработчиком: <a href="mailto:bookpauk@gmail.com">bookpauk@gmail.com</a></p>
@@ -31,6 +38,8 @@
 import Vue from 'vue';
 import Component from 'vue-class-component';
 
+import {copyTextToClipboard} from '../../../../share/utils';
+
 export default @Component({
 })
 class CommonHelpPage extends Vue {
@@ -40,13 +49,22 @@ class CommonHelpPage extends Vue {
 
     get automationHtml() {
         if (this.config.mode == 'omnireader') {
-            return `<p>Вы можете добавить в свой браузер закладку, указав в ее свойствах вместо адреса следующий код:
+            return `<p>Вы также можете добавить в свой браузер закладку, указав в ее свойствах вместо адреса следующий код:
                     <br><strong>javascript:location.href='http://omnireader.ru/?url='+location.href;</strong>
                     <br>Тогда, нажав на получившуюся кнопку на любой странице интернета, вы автоматически откроете ее в Omni Reader.</p>`;
         } else {
             return '';
         }
     }
+
+    async copyText(text) {
+        const result = await copyTextToClipboard(text);
+        const msg = (result ? `Ссылка на флаг успешно скопирована в буфер обмена. Можно открыть ее в новой вкладке.` : 'Копирование не удалось');
+        if (result)
+            this.$notify.success({message: msg});
+        else
+            this.$notify.error({message: msg});
+    }
 }
 //-----------------------------------------------------------------------------
 </script>
@@ -63,4 +81,10 @@ class CommonHelpPage extends Vue {
 h4 {
     margin: 0;
 }
+
+.clickable {
+    color: blue;
+    text-decoration: underline;
+    cursor: pointer;
+}
 </style>

client/components/Reader/HistoryPage/HistoryPage.vue

@@ -248,7 +248,10 @@ class HistoryPage extends Vue {
     }
 
     isUrl(url) {
+        if (url)
             return (url.indexOf('file://') != 0);
+        else
+            return false;
     }
 
     close() {

client/components/Reader/ServerStorage/ServerStorage.vue

@@ -37,6 +37,7 @@ export default @Component({
 class ServerStorage extends Vue {
     created() {
         this.inited = false;
+        this.keyInited = false;
         this.commit = this.$store.commit;
         this.prevServerStorageKey = null;
         this.$root.$on('generateNewServerStorageKey', () => {this.generateNewServerStorageKey()});
@@ -49,6 +50,7 @@ class ServerStorage extends Vue {
         this.oldSettings = {};
         this.oldRecent = {};
         this.oldRecentLast = {};
+        this.oldRecentLastDiff = {};
     }
 
     async init() {
@@ -88,6 +90,7 @@ class ServerStorage extends Vue {
         if (this.prevServerStorageKey != this.serverStorageKey) {
             this.prevServerStorageKey = this.serverStorageKey;
             this.hashedStorageKey = utils.toBase58(cryptoUtils.sha256(this.serverStorageKey));
+            this.keyInited = true;
 
             await this.loadProfiles(force);
             this.checkCurrentProfile();
@@ -163,7 +166,7 @@ class ServerStorage extends Vue {
     }
 
     async loadSettings(force) {
-        if (!this.serverSyncEnabled || !this.currentProfile)
+        if (!this.keyInited || !this.serverSyncEnabled || !this.currentProfile)
             return;
 
         const setsId = `settings-${this.currentProfile}`;
@@ -206,7 +209,7 @@ class ServerStorage extends Vue {
     }
 
     async saveSettings() {
-        if (!this.serverSyncEnabled || !this.currentProfile || this.savingSettings)
+        if (!this.keyInited || !this.serverSyncEnabled || !this.currentProfile || this.savingSettings)
             return;
 
         const diff = utils.getObjDiff(this.oldSettings, this.settings);
@@ -252,7 +255,7 @@ class ServerStorage extends Vue {
     }
 
     async loadProfiles(force) {
-        if (!this.serverSyncEnabled)
+        if (!this.keyInited || !this.serverSyncEnabled)
             return;
 
         const oldRev = this.profilesRev;
@@ -294,7 +297,7 @@ class ServerStorage extends Vue {
     }
 
     async saveProfiles() {
-        if (!this.serverSyncEnabled || this.savingProfiles)
+        if (!this.keyInited || !this.serverSyncEnabled || this.savingProfiles)
             return;
 
         const diff = utils.getObjDiff(this.oldProfiles, this.profiles);
@@ -346,18 +349,20 @@ class ServerStorage extends Vue {
     }
 
     async loadRecent(force) {
-        if (!this.serverSyncEnabled)
+        if (!this.keyInited || !this.serverSyncEnabled)
             return;
 
         const oldRev = bookManager.recentRev;
         const oldLastRev = bookManager.recentLastRev;
+        const oldLastDiffRev = bookManager.recentLastDiffRev;
         //проверим ревизию на сервере
         let revs = null;
         if (!force) {
             try {
-                revs = await this.storageCheck({recent: {}, recentLast: {}});
+                revs = await this.storageCheck({recent: {}, recentLast: {}, recentLastDiff: {}});
                 if (revs.state == 'success' && revs.items.recent.rev == oldRev &&
-                    revs.items.recentLast.rev == oldLastRev) {
+                    revs.items.recentLast.rev == oldLastRev &&
+                    revs.items.recentLastDiff.rev == oldLastDiffRev) {
                     return;
                 }
             } catch(e) {
@@ -389,24 +394,32 @@ class ServerStorage extends Vue {
             }
         }
 
-        if (force || revs.items.recentLast.rev != oldLastRev) {
+        if (force || revs.items.recentLast.rev != oldLastRev || revs.items.recentLastDiff.rev != oldLastDiffRev) {
             let recentLast = null;
             try {
-                recentLast = await this.storageGet({recentLast: {}});
+                recentLast = await this.storageGet({recentLast: {}, recentLastDiff: {}});
             } catch(e) {
                 this.error(`Ошибка соединения с сервером: ${e.message}`);
                 return;
             }
 
             if (recentLast.state == 'success') {
+                const recentLastDiff = recentLast.items.recentLastDiff;
                 recentLast = recentLast.items.recentLast;
 
                 if (recentLast.rev == 0)
                     recentLast.data = {};
+                if (recentLastDiff.rev == 0)
+                    recentLastDiff.data = {};
 
+                this.oldRecentLastDiff = _.cloneDeep(recentLastDiff.data);
                 this.oldRecentLast = _.cloneDeep(recentLast.data);
+
+                recentLast.data = utils.applyObjDiff(recentLast.data, recentLastDiff.data);
+
                 await bookManager.setRecentLast(recentLast.data);
                 await bookManager.setRecentLastRev(recentLast.rev);
+                await bookManager.setRecentLastDiffRev(recentLastDiff.rev);
             } else {
                 this.warning(`Неверный ответ сервера: ${recentLast.state}`);
             }
@@ -416,7 +429,7 @@ class ServerStorage extends Vue {
     }
 
     async saveRecent() {
-        if (!this.serverSyncEnabled || this.savingRecent)
+        if (!this.keyInited || !this.serverSyncEnabled || this.savingRecent)
             return;
 
         const bm = bookManager;
@@ -462,7 +475,7 @@ class ServerStorage extends Vue {
     }
 
     async saveRecentLast(force = false) {
-        if (!this.serverSyncEnabled || this.savingRecentLast)
+        if (!this.keyInited || !this.serverSyncEnabled || this.savingRecentLast)
             return;
 
         const bm = bookManager;
@@ -474,6 +487,11 @@ class ServerStorage extends Vue {
         if (utils.isEmptyObjDiff(diff))
             return;
 
+        if (this.oldRecentLast.key == recentLast.key && JSON.stringify(recentLast) > JSON.stringify(diff)) {
+            await this.saveRecentLastDiff(diff, force);
+            return;
+        }
+
         this.savingRecentLast = true;
         try {
             let result = {state: ''};
@@ -513,12 +531,69 @@ class ServerStorage extends Vue {
             } else {
                 this.oldRecentLast = _.cloneDeep(recentLast);
                 await bm.setRecentLastRev(lastRev + 1);
+                await this.saveRecentLastDiff({}, true);
             }
         } finally {
             this.savingRecentLast = false;
         }
     }
 
+    async saveRecentLastDiff(diff, force = false) {
+        if (!this.keyInited || !this.serverSyncEnabled || this.savingRecentLastDiff)
+            return;
+
+        const bm = bookManager;
+        let lastRev = bm.recentLastDiffRev;
+
+        const d = utils.getObjDiff(this.oldRecentLastDiff, diff);
+        if (utils.isEmptyObjDiff(d))
+            return;
+
+        this.savingRecentLastDiff = true;
+        try {
+            let result = {state: ''};
+            let tries = 0;
+            while (result.state != 'success' && tries < maxSetTries) {
+                if (force) {
+                    try {
+                        const revs = await this.storageCheck({recentLastDiff: {}});
+                        if (revs.items.recentLastDiff.rev)
+                            lastRev = revs.items.recentLastDiff.rev;
+                    } catch(e) {
+                        this.error(`Ошибка соединения с сервером: ${e.message}`);
+                        return;
+                    }
+                }
+
+                try {
+                    result = await this.storageSet({recentLastDiff: {rev: lastRev + 1, data: diff}}, force);
+                } catch(e) {
+                    this.savingRecentLastDiff = false;
+                    this.error(`Ошибка соединения с сервером: (${e.message}). Изменения не сохранены.`);
+                    return;
+                }
+
+                if (result.state == 'reject') {
+                    await this.loadRecent(false);
+                    this.savingRecentLastDiff = false;
+                    return;
+                }
+
+                tries++;
+            }
+
+            if (tries >= maxSetTries) {
+                console.error(result);
+                this.error('Не удалось отправить данные на сервер. Данные не сохранены и могут быть перезаписаны.');
+            } else {
+                this.oldRecentLastDiff = _.cloneDeep(diff);
+                await bm.setRecentLastDiffRev(lastRev + 1);
+            }
+        } finally {
+            this.savingRecentLastDiff = false;
+        }
+    }
+
     async storageCheck(items) {
         return await this.storageApi('check', items);
     }

client/components/Reader/SettingsPage/SettingsPage.vue

@@ -452,7 +452,7 @@
                     </el-tab-pane>
                     <!-- Сброс ------------------------------------------------------------------------->
                     <el-tab-pane label="Сброс">
-                        <el-button @click="setDefaults">Установить по-умолчанию</el-button>
+                        <el-button @click="setDefaults">Установить по умолчанию</el-button>
                     </el-tab-pane>
 
                 </el-tabs>
@@ -751,12 +751,12 @@ class SettingsPage extends Vue {
                 dangerouslyUseHTMLString: true,
                 confirmButtonText: 'OK',
                 cancelButtonText: 'Отмена',
-                inputValidator: (str) => { if (str && str.length == 44) return true; else return 'Неверный формат ключа'; },
+                inputValidator: (str) => { if (str && utils.fromBase58(str).length == 32) return true; else return 'Неверный формат ключа'; },
                 inputValue: (key && _.isString(key) ? key : null),
                 type: 'warning'
             });
 
-            if (result.value && result.value.length == 44) {
+            if (result.value && utils.fromBase58(result.value).length == 32) {
                 this.commit('reader/setServerStorageKey', result.value);
             }
         } catch (e) {

client/components/Reader/share/bookManager.js

@@ -38,6 +38,7 @@ class BookManager {
             this.recent[this.recentLast.key] = this.recentLast;
         this.recentRev = await bmRecentStore.getItem('recent-rev') || 0;
         this.recentLastRev = await bmRecentStore.getItem('recent-last-rev') || 0;
+        this.recentLastDiffRev = await bmRecentStore.getItem('recent-last-diff-rev') || 0;
         this.books = Object.assign({}, this.booksCached);
 
         this.recentChanged2 = true;
@@ -79,6 +80,8 @@ class BookManager {
             }
         }
 
+        //"ленивая" загрузка
+        (async() => {
             let key = null;
             len = await bmRecentStore.length();
             for (let i = 0; i < len; i++) {
@@ -92,14 +95,16 @@ class BookManager {
                     await bmRecentStore.removeItem(key);
                 }
             }
+        })();
 
         //размножение для дебага
         /*if (key) {
             for (let i = 0; i < 1000; i++) {
                 const k = this.keyFromUrl(i.toString());
-                this.recent[k] = Object.assign({}, _.cloneDeep(this.recent[key]), {key: k, touchTime: Date.now() - 1000000});
+                this.recent[k] = Object.assign({}, _.cloneDeep(this.recent[key]), {key: k, touchTime: Date.now() - 1000000, url: utils.randomHexString(300)});
             }
         }*/
+        
         await this.cleanBooks();
 
         //очистка позже
@@ -370,9 +375,19 @@ class BookManager {
 
         Object.assign(mergedRecent, value);
         const newRecent = {};
+        
+        //"ленивое" обновление хранилища
+        (async() => {
             for (const rec of Object.values(mergedRecent)) {
                 if (rec.key) {
                     await bmRecentStore.setItem(rec.key, rec);
+                    await utils.sleep(1);
+                }
+            }
+        })();
+
+        for (const rec of Object.values(mergedRecent)) {
+            if (rec.key) {
                 newRecent[rec.key] = rec;
             }
         }
@@ -399,6 +414,11 @@ class BookManager {
         this.recentLast = value;
         await bmCacheStore.setItem('recent-last', this.recentLast);
         if (value && value.key) {
+            //гарантия переключения книги
+            const mostRecent = this.mostRecentBook();
+            if (mostRecent)
+                this.recent[mostRecent.key].touchTime = value.touchTime - 1;
+
             this.recent[value.key] = value;
             await bmRecentStore.setItem(value.key, value);
             await bmCacheStore.setItem('recent', this.recent);
@@ -409,10 +429,15 @@ class BookManager {
     }
 
     async setRecentLastRev(value) {
-        bmRecentStore.setItem('recent-last-rev', value);
+        await bmRecentStore.setItem('recent-last-rev', value);
         this.recentLastRev = value;
     }
 
+    async setRecentLastDiffRev(value) {
+        await bmRecentStore.setItem('recent-last-diff-rev', value);
+        this.recentLastDiffRev = value;
+    }
+
     addEventListener(listener) {
         if (this.eventListeners.indexOf(listener) < 0)
             this.eventListeners.push(listener);        

client/share/utils.js

@@ -2,13 +2,12 @@ import _ from 'lodash';
 import baseX from 'base-x';
 import PAKO from 'pako';
 import {Buffer} from 'safe-buffer';
+import sjclWrapper from './sjclWrapper';
 
 export const pako = PAKO;
 
 const BASE58 = '123456789ABCDEFGHJKLMNPQRSTUVWXYZabcdefghijkmnopqrstuvwxyz';
-const BASE64 = 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/';
 const bs58 = baseX(BASE58);
-const bs64 = baseX(BASE64);
 
 export function sleep(ms) {
     return new Promise(resolve => setTimeout(resolve, ms));
@@ -86,12 +85,18 @@ export function fromBase58(data) {
     return bs58.decode(data);
 }
 
+//base-x слишком тормозит, используем sjcl
 export function toBase64(data) {
-    return bs64.encode(Buffer.from(data));
+    return sjclWrapper.codec.base64.fromBits(
+        sjclWrapper.codec.bytes.toBits(Buffer.from(data))
+    );
 }
 
+//base-x слишком тормозит, используем sjcl
 export function fromBase64(data) {
-    return bs64.decode(data);
+    return Buffer.from(sjclWrapper.codec.bytes.fromBits(
+        sjclWrapper.codec.base64.toBits(data)
+    ));
 }
 
 export function getObjDiff(oldObj, newObj) {

package-lock.json

@@ -1,6 +1,6 @@
 {
   "name": "Liberama",
-  "version": "0.5.6",
+  "version": "0.6.5",
   "lockfileVersion": 1,
   "requires": true,
   "dependencies": {

package.json

@@ -1,6 +1,6 @@
 {
   "name": "Liberama",
-  "version": "0.6.2",
+  "version": "0.6.6",
   "engines": {
     "node": ">=10.0.0"
   },

server/index.js

@@ -51,7 +51,7 @@ async function main() {
             }
 
             app.use(compression({ level: 1 }));
-            app.use(express.json());
+            app.use(express.json({limit: '10mb'}));
             if (devModule)
                 devModule.logQueries(app);