feat(admin): блок «Новости» + doc-watcher + авто-уведомления о сертификатах УЦ

Новый раздел /admin/news — лента событий системы (окна техработ НРД, обновления документации, переустановка сертификатов УЦ). Каждая новость со временем, типом (maintenance/feature/doc-update/system/ manual), опциональным окном действительности (ValidFrom..ValidTo) и ссылкой на источник. Лента не очищается — служит журналом для аудита. На дашборде /admin/ — компактный блок «📢 Новости»: показывает максимум 3 актуальных события (активных сейчас или с окном, начинающимся в ближайшие 7 дней; в остатке — самые свежие). Окна техработ при наступлении становятся жёлтыми (border-left, ValidFrom..ValidTo). В ленте можно добавлять новости вручную (форма на /admin/news), скрывать (soft-delete через Dismissed). Дедуп по ID. Doc-watcher: горутина в bj-server, раз в сутки качает страницы НРД (дефолтные источники — moex-most, программы НРД, криптосервис), парсит HTML на ссылки .pdf, скачивает новые версии в DOC/ (со старыми переименовывая в .YYYY-MM-DD.pdf.bak для аудита), и публикует новость «Обновлена документация: <file>». Sha256-дедуп — пере-импорта неизменённого PDF не будет. Cacerts.go: FetchCACertificates теперь принимает *RuntimeConfig и при успешной переустановке сертификата эмитирует NewsItem «Обновлён сертификат УЦ: <CN>». Если сертификат истекает в ближайшие 14 дней — отдельная новость-предупреждение. Это закрывает запрос «получает в авто режиме и предупреждает об этом» из обсуждения. SeedDefaultNews публикует при старте bj-server две известные новости: - TEST3 недоступен 18.05.2026 — 22.05.2026 (НРД письмо НРД-И-2026-8452) - Робот-автотест MOEX МОСТ доступен на TEST3 с 12.05.2026 Скачаны три свежие инструкции с nsd.ru/services/novye-servisy/moex-most-dlya-m2m/: - DOC/instruktsiya-po-testirovaniyu-s-robotom.pdf (новая, 12.05.2026) - DOC/instruktsiya-dlya-osuschestvleniya-obmena-soobscheniyami-...-fizicheskim-litsom-samomu-sebe.pdf (новая, 12.05.2026) - DOC/servis-most-m2m.pdf (актуальная общая инструкция) Mastered tasks: #46, #47, #48.
2026-05-14 16:26:41 +03:00
parent f1e05c0ca3
commit 93f3ec240c
12 changed files with 734 additions and 11 deletions
@@ -0,0 +1,369 @@
+package lkgateway
+
+import (
+	"context"
+	"crypto/sha256"
+	"encoding/hex"
+	"errors"
+	"fmt"
+	"io"
+	"log"
+	"net/http"
+	"net/url"
+	"os"
+	"path/filepath"
+	"regexp"
+	"strings"
+	"time"
+)
+
+// defaultDocSources — стартовый набор страниц НРД, которые doc-watcher
+// будет проверять раз в сутки. Пользователь может добавить/удалить через UI.
+var defaultDocSources = []DocSource{
+	{
+		URL:  "https://www.nsd.ru/services/novye-servisy/moex-most-dlya-m2m/",
+		Name: "Сервис MOEX МОСТ для M2M",
+	},
+	{
+		URL:  "https://www.nsd.ru/workflow/system/programs/",
+		Name: "ПО для участников ЭДО (ИШ, ФШ)",
+	},
+	{
+		URL:  "https://www.nsd.ru/workflow/system/programs/cryptoservice/",
+		Name: "Криптосервис",
+	},
+}
+
+// EnsureDocSources гарантирует что defaultDocSources прописаны в конфиге.
+// Вызывается при старте bj-server.
+func EnsureDocSources(rc *RuntimeConfig) {
+	s := rc.Snapshot().News
+	if len(s.DocSources) > 0 {
+		return
+	}
+	s.DocSources = append([]DocSource(nil), defaultDocSources...)
+	if err := rc.UpdateNews(s); err != nil {
+		log.Printf("news: не получилось сохранить default DocSources: %v", err)
+	}
+}
+
+// pdfHrefRe — ищет в HTML href'ы, заканчивающиеся на .pdf (case-insensitive).
+var pdfHrefRe = regexp.MustCompile(`(?i)href="([^"]+\.pdf)"`)
+
+// CheckDocSources обходит все DocSource из настроек, парсит HTML, ищет
+// новые PDF и скачивает их в DOC/. На каждое нововведение эмитирует
+// NewsItem типа "doc-update". Возвращает суммарную строку для лога.
+func CheckDocSources(ctx context.Context, rc *RuntimeConfig) string {
+	s := rc.Snapshot().News
+	if len(s.DocSources) == 0 {
+		s.DocSources = append([]DocSource(nil), defaultDocSources...)
+	}
+	var summary strings.Builder
+	now := time.Now()
+
+	for i, src := range s.DocSources {
+		fmt.Fprintf(&summary, "→ %s\n", src.URL)
+		pdfs, err := fetchPDFLinks(ctx, src.URL)
+		if err != nil {
+			fmt.Fprintf(&summary, "   ошибка: %v\n", err)
+			continue
+		}
+		if src.KnownPDFs == nil {
+			s.DocSources[i].KnownPDFs = map[string]string{}
+		}
+		known := s.DocSources[i].KnownPDFs
+		fmt.Fprintf(&summary, "   найдено %d ссылок на PDF\n", len(pdfs))
+		newlyAdded := 0
+		for _, pdfURL := range pdfs {
+			hash, changed := checkPDF(ctx, pdfURL, known)
+			if !changed {
+				continue
+			}
+			known[pdfURL] = hash
+			newlyAdded++
+			localPath, err := downloadPDFToDOC(ctx, pdfURL)
+			if err != nil {
+				fmt.Fprintf(&summary, "   ✗ %s: %v\n", pdfURL, err)
+				continue
+			}
+			fmt.Fprintf(&summary, "   ✓ %s → %s\n", pdfURL, localPath)
+			// Новость в ленту.
+			_ = rc.AddNews(NewsItem{
+				ID:    "doc-" + hash[:12],
+				At:    now,
+				Kind:  "doc-update",
+				Title: "Обновлена документация: " + filepath.Base(localPath),
+				Body: "Источник: " + src.Name + "\nURL: " + pdfURL +
+					"\nЛокально: " + localPath + "\nSHA-256: " + hash[:16] + "…",
+				URL: pdfURL,
+			})
+		}
+		s.DocSources[i].LastChecked = now
+		if newlyAdded > 0 {
+			fmt.Fprintf(&summary, "   добавлено новых: %d\n", newlyAdded)
+		}
+	}
+
+	s.LastDocCheck = now
+	s.DocCheckResult = summary.String()
+	if err := rc.UpdateNews(s); err != nil {
+		log.Printf("news: save failed: %v", err)
+	}
+	return summary.String()
+}
+
+// fetchPDFLinks качает HTML-страницу и извлекает все href'ы, заканчивающиеся
+// на .pdf. Относительные URL разворачиваются в абсолютные.
+func fetchPDFLinks(ctx context.Context, pageURL string) ([]string, error) {
+	reqCtx, cancel := context.WithTimeout(ctx, 30*time.Second)
+	defer cancel()
+	req, err := http.NewRequestWithContext(reqCtx, http.MethodGet, pageURL, nil)
+	if err != nil {
+		return nil, err
+	}
+	req.Header.Set("User-Agent", "bj-server/1.0 (doc-watcher)")
+	resp, err := http.DefaultClient.Do(req)
+	if err != nil {
+		return nil, err
+	}
+	defer resp.Body.Close()
+	if resp.StatusCode >= 400 {
+		return nil, fmt.Errorf("HTTP %d", resp.StatusCode)
+	}
+	body, err := io.ReadAll(io.LimitReader(resp.Body, 8<<20))
+	if err != nil {
+		return nil, err
+	}
+	base, err := url.Parse(pageURL)
+	if err != nil {
+		return nil, err
+	}
+	matches := pdfHrefRe.FindAllStringSubmatch(string(body), -1)
+	seen := map[string]bool{}
+	var out []string
+	for _, m := range matches {
+		ref, err := url.Parse(m[1])
+		if err != nil {
+			continue
+		}
+		abs := base.ResolveReference(ref).String()
+		// Игнорируем «системные» PDF (политика конфиденциальности и т.п.).
+		low := strings.ToLower(abs)
+		if strings.Contains(low, "personal_information") ||
+			strings.Contains(low, "personal-information") ||
+			strings.Contains(low, "razmeschenie-logotipa") {
+			continue
+		}
+		if seen[abs] {
+			continue
+		}
+		seen[abs] = true
+		out = append(out, abs)
+	}
+	return out, nil
+}
+
+// checkPDF делает HEAD-запрос (или GET если HEAD не сработал) и сравнивает
+// sha256 PDF с известным значением. Возвращает (новый_hash, изменился).
+// HEAD у НРД редко возвращает Content-MD5/ETag — реальная проверка =
+// скачать и посчитать sha256.
+func checkPDF(ctx context.Context, pdfURL string, known map[string]string) (string, bool) {
+	reqCtx, cancel := context.WithTimeout(ctx, 60*time.Second)
+	defer cancel()
+	req, err := http.NewRequestWithContext(reqCtx, http.MethodGet, pdfURL, nil)
+	if err != nil {
+		return "", false
+	}
+	req.Header.Set("User-Agent", "bj-server/1.0 (doc-watcher)")
+	resp, err := http.DefaultClient.Do(req)
+	if err != nil {
+		return "", false
+	}
+	defer resp.Body.Close()
+	if resp.StatusCode >= 400 {
+		return "", false
+	}
+	h := sha256.New()
+	if _, err := io.Copy(h, io.LimitReader(resp.Body, 32<<20)); err != nil {
+		return "", false
+	}
+	hash := hex.EncodeToString(h.Sum(nil))
+	if old, ok := known[pdfURL]; ok && old == hash {
+		return hash, false
+	}
+	return hash, true
+}
+
+// downloadPDFToDOC скачивает PDF в DOC/. Если файл с таким именем уже
+// есть — переименовывает старый в name.old-YYYYMMDD.pdf, чтобы оставить
+// аудит. Возвращает путь до нового файла.
+func downloadPDFToDOC(ctx context.Context, pdfURL string) (string, error) {
+	u, err := url.Parse(pdfURL)
+	if err != nil {
+		return "", err
+	}
+	name := filepath.Base(u.Path)
+	if name == "" || !strings.HasSuffix(strings.ToLower(name), ".pdf") {
+		return "", errors.New("странное имя файла")
+	}
+	docDir := "DOC"
+	if _, err := os.Stat(docDir); err != nil {
+		return "", fmt.Errorf("DOC/ не доступен: %w", err)
+	}
+	dst := filepath.Join(docDir, name)
+	// Если файл уже есть — переименуем как backup.
+	if _, err := os.Stat(dst); err == nil {
+		old := filepath.Join(docDir,
+			strings.TrimSuffix(name, ".pdf")+
+				"."+time.Now().Format("2006-01-02")+".pdf.bak")
+		_ = os.Rename(dst, old)
+	}
+
+	reqCtx, cancel := context.WithTimeout(ctx, 90*time.Second)
+	defer cancel()
+	req, err := http.NewRequestWithContext(reqCtx, http.MethodGet, pdfURL, nil)
+	if err != nil {
+		return "", err
+	}
+	req.Header.Set("User-Agent", "bj-server/1.0 (doc-watcher)")
+	resp, err := http.DefaultClient.Do(req)
+	if err != nil {
+		return "", err
+	}
+	defer resp.Body.Close()
+	if resp.StatusCode >= 400 {
+		return "", fmt.Errorf("HTTP %d", resp.StatusCode)
+	}
+	f, err := os.Create(dst)
+	if err != nil {
+		return "", err
+	}
+	defer f.Close()
+	if _, err := io.Copy(f, io.LimitReader(resp.Body, 64<<20)); err != nil {
+		return "", err
+	}
+	return dst, nil
+}
+
+// StartDocWatcher запускает горутину, которая раз в сутки проверяет
+// DocSources и эмитирует новости. Стартует через 60 сек после Run().
+func StartDocWatcher(rc *RuntimeConfig) func() {
+	ctx, cancel := context.WithCancel(context.Background())
+	go func() {
+		select {
+		case <-ctx.Done():
+			return
+		case <-time.After(60 * time.Second):
+		}
+		ticker := time.NewTicker(24 * time.Hour)
+		defer ticker.Stop()
+		for {
+			summary := CheckDocSources(ctx, rc)
+			log.Printf("doc-watcher: проверка завершена\n%s", summary)
+			select {
+			case <-ctx.Done():
+				return
+			case <-ticker.C:
+			}
+		}
+	}()
+	return cancel
+}
+
+// addManualNews — POST /admin/news/add.
+func (h *setupHandlers) addManualNews(w http.ResponseWriter, r *http.Request) {
+	if r.Method != http.MethodPost {
+		http.Error(w, "method", http.StatusMethodNotAllowed)
+		return
+	}
+	title := strings.TrimSpace(r.FormValue("title"))
+	body := strings.TrimSpace(r.FormValue("body"))
+	kind := r.FormValue("kind")
+	if kind == "" {
+		kind = "manual"
+	}
+	if title == "" {
+		setupFlash(w, r, "Новости: укажите заголовок")
+		return
+	}
+	item := NewsItem{
+		At:    time.Now(),
+		Kind:  kind,
+		Title: title,
+		Body:  body,
+	}
+	if vf := r.FormValue("valid_from"); vf != "" {
+		if t, err := time.Parse("2006-01-02", vf); err == nil {
+			item.ValidFrom = t
+		}
+	}
+	if vt := r.FormValue("valid_to"); vt != "" {
+		if t, err := time.Parse("2006-01-02", vt); err == nil {
+			item.ValidTo = t.Add(24*time.Hour - time.Second)
+		}
+	}
+	if err := h.rc.AddNews(item); err != nil {
+		setupFlash(w, r, "Новости: ошибка сохранения: "+err.Error())
+		return
+	}
+	setupFlash(w, r, "Новость «"+title+"» добавлена в ленту")
+}
+
+// dismissNews — POST /admin/news/dismiss?id=...
+func (h *setupHandlers) dismissNews(w http.ResponseWriter, r *http.Request) {
+	if r.Method != http.MethodPost {
+		http.Error(w, "method", http.StatusMethodNotAllowed)
+		return
+	}
+	id := r.FormValue("id")
+	if id == "" {
+		setupFlash(w, r, "Новости: id обязателен")
+		return
+	}
+	_ = h.rc.DismissNews(id)
+	setupFlash(w, r, "Новость скрыта")
+}
+
+// checkDocsNow — POST /admin/news/check-docs.
+func (h *setupHandlers) checkDocsNow(w http.ResponseWriter, r *http.Request) {
+	if r.Method != http.MethodPost {
+		http.Error(w, "method", http.StatusMethodNotAllowed)
+		return
+	}
+	ctx, cancel := context.WithTimeout(r.Context(), 3*time.Minute)
+	defer cancel()
+	summary := CheckDocSources(ctx, h.rc)
+	if len(summary) > 600 {
+		summary = summary[:600] + "…"
+	}
+	setupFlash(w, r, "Проверка обновлений документации завершена. "+strings.TrimSpace(summary))
+}
+
+// SeedDefaultNews добавляет в ленту известные на момент запуска события
+// (окно техработ TEST3 в мае 2026 и появление робота-автотестирования).
+// Вызывается из server.go при старте — дедуп по ID гарантирован AddNews.
+func SeedDefaultNews(rc *RuntimeConfig) {
+	defaults := []NewsItem{
+		{
+			ID:        "test3-maintenance-2026-05",
+			At:        time.Date(2026, 5, 13, 0, 0, 0, 0, time.UTC),
+			Kind:      "maintenance",
+			Title:     "TEST3 недоступен 18.05.2026 — 22.05.2026 (техработы)",
+			Body:      "НРД проводит техработы на тестовом контуре TEST3. На gost-t3.nsd.ru / rsa-t3.nsd.ru интеграционные прогоны в этот период не пойдут. При необходимости — переключитесь на GUEST (gost-gt.nsd.ru) или mock-режим. Источник: НРД письмо НРД-И-2026-8452 от 13.05.2026.",
+			URL:       "https://www.nsd.ru/services/novye-servisy/moex-most-dlya-m2m/",
+			ValidFrom: time.Date(2026, 5, 18, 0, 0, 0, 0, time.UTC),
+			ValidTo:   time.Date(2026, 5, 22, 23, 59, 59, 0, time.UTC),
+		},
+		{
+			ID:    "robot-autotest-2026-05-12",
+			At:    time.Date(2026, 5, 12, 0, 0, 0, 0, time.UTC),
+			Kind:  "feature",
+			Title: "Доступно автотестирование MOEX МОСТ с роботом на TEST3",
+			Body:  "С 12.05.2026 клиенты, подключившиеся к автотестированию, могут гонять обмен сообщениями с роботом-контрагентом на TEST3. Не нужно ждать живого второго депозитария. Контакт: M2MOST@nsd.ru. Опубликованы новые инструкции: «Инструкция по тестированию с роботом» и «Инструкция для обмена при self-transfer» — обе в DOC/.",
+			URL:   "https://www.nsd.ru/services/novye-servisy/moex-most-dlya-m2m/",
+		},
+	}
+	for _, item := range defaults {
+		_ = rc.AddNews(item)
+	}
+}