zuevav/Bridge-and-Join-s
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

«Настройка» без 10-секундного ожидания: статистика npr.history по первичному ключу

Browse Source 
Каждый рендер «Настройки» ждал /section службы bj-quikexport, а та
считала min(ts) и count(*) за сутки по npr.history (18,5 млн строк,
индекса по ts нет): 6 + 27 с на 28, срез по таймауту 10 с. Теперь начало
истории — первая строка по id, строки за сутки/час — двоичный поиск по id
(история только дописывается): ~45 мс. То же в /admin/npr/api/freshness.

bj-server ждёт раздел QUIK-экспорта не дольше 3 с и иначе отдаёт последний
удачный; прогрев версий, пользователей ЛК и раздела после запуска.
«Обновления» перезагружают страницу, только если что-то изменилось.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Q7eREaYwUt1i4fNLZcGnjn
This commit is contained in:
fontvielle
2026-10-22 11:01:45 +03:00
parent 2aa682e97f
commit 077e542c1a
5 changed files with 97 additions and 6 deletions
Download Patch File Download Diff File Expand all files Collapse all files
modules/quikexport/quikexport.go
+28 -1
View File
@@ -920,6 +920,25 @@ func quikExportPool(s QuikExportSettings) (*pgxpool.Pool, error) {
return p, nil
}
// nprHistIDAt — первый id в npr.history со временем не раньше t. История только дописывается (id растёт
// вместе с ts), поэтому двоичный поиск по первичному ключу: ~25 коротких запросов вместо полного прохода
// таблицы (индекса по ts нет). lo, hi — min(id) и max(id).
func nprHistIDAt(ctx context.Context, p *pgxpool.Pool, t time.Time, lo, hi int64) int64 {
for lo < hi {
mid := lo + (hi-lo)/2
var ts time.Time
if err := p.QueryRow(ctx, `SELECT ts FROM npr.history WHERE id >= $1 ORDER BY id LIMIT 1`, mid).Scan(&ts); err != nil {
return hi
}
if ts.Before(t) {
lo = mid + 1
} else {
hi = mid
}
}
return lo
}
func quikExportStats(s QuikExportSettings) quikExportDBStats {
st := quikExportDBStats{ExporterUser: s.DBUser}
if s.ROPassword == "" {
@@ -954,10 +973,18 @@ func quikExportStats(s QuikExportSettings) quikExportDBStats {
}
var histBytes int64
var from *time.Time
if err := p.QueryRow(ctx, `SELECT COALESCE((SELECT reltuples::bigint FROM pg_class WHERE oid='npr.history'::regclass),0), pg_total_relation_size('npr.history'), (SELECT min(ts) FROM npr.history), (SELECT count(*) FROM npr.history WHERE ts >= now() - interval '24 hours')`).Scan(&st.HistoryRows, &histBytes, &from, &st.Rows24h); err == nil {
var minID, maxID *int64
// Начало истории и строки за сутки — по первичному ключу (см. nprHistIDAt), без прохода по таблице.
if err := p.QueryRow(ctx, `SELECT COALESCE((SELECT reltuples::bigint FROM pg_class WHERE oid='npr.history'::regclass),0), pg_total_relation_size('npr.history'), (SELECT ts FROM npr.history ORDER BY id LIMIT 1), (SELECT min(id) FROM npr.history), (SELECT max(id) FROM npr.history)`).Scan(&st.HistoryRows, &histBytes, &from, &minID, &maxID); err == nil {
if from != nil {
st.HistoryFrom = *from
}
if minID != nil && maxID != nil {
st.Rows24h = *maxID - nprHistIDAt(ctx, p, time.Now().Add(-24*time.Hour), *minID, *maxID+1) + 1
if st.Rows24h < 0 {
st.Rows24h = 0
}
}
if st.HistoryRows > 0 {
st.GrowthMBDay = float64(histBytes) / float64(st.HistoryRows) * float64(st.Rows24h) / (1 << 20)
}