Исправление: Лишние метрики считаются при добавлении новой метрики (#2)

* Обновлен Makefile

Добавлена задача генерации графа компонентов,
версия vector поднята до 0.43

* Удалены ненужные переменные в playbook

* Переделаны трансформы для разделения обработки фильтров

Трансформы подготовки логов вынесены в отдельный файл и их тесты тоже

* Makefile fix

* Добавлена иллюстрация графа трансформов "как было"

* Исправлена сборка тестов

* Добавлена схема исправленного графа обрботки метирк

* Сделана генерация для разных env

* Обновлен Readme

* Исправлена задача генерации файлов конфига vector

* Сделаны генерируемые тесты

* Сделана генерация тестов к метрикам из metrics-catalog.yml

* Json схема дополнена для разрешения описания testdata в metrics-catalog.yml

Author: r3code

.gitignore

@@ -1,2 +1,5 @@
 .generated/*
 .tools/*
+.vscode/settings.json
+ansible-playbook/playbook.tmp*
+

Makefile

@@ -9,10 +9,11 @@ OS := $(shell uname -s)
 TOOLS_DIR ?= .tools
 SUDO_PASSWORD ?= human
 
-VECTOR_VERSION ?= 0.35.0
+VECTOR_VERSION ?= 0.43.0
 # если установлен в системе, то доступен как команда в /usr/bin/vector
 VECTOR_BINARY ?= $(TOOLS_DIR)/vector_$(VECTOR_VERSION)_$(OS)_amd64
 VECTOR_CONFIG_DIR ?= $(PWD)/.generated/vector_config
+VECTOR_ENV ?= testing
 YQ_VERSION ?= 4.30.5
 JV_VERSION ?= 0.4.0
 
@@ -32,7 +33,7 @@ YQ_BINARY_URL := https://github.com/mikefarah/yq/releases/download/v$(YQ_VERSION
 
 
 .PHONY: install-dependencies
-install-dependencies: ## Install required dependencies
+install-dependencies: download-vector-bin ## Install required dependencies
 	mkdir -p $(TOOLS_DIR)
 ifeq (,$(wildcard $(YQ_BINARY)))
 	wget -qO $(YQ_BINARY) $(YQ_BINARY_URL) --show-progress && chmod +x $(YQ_BINARY)
@@ -75,9 +76,12 @@ endif
 
 
 .PHONY: validate-metrics-catalog-spec
-validate-metrics-catalog-spec: ## Validates metrics-catalog.yml
+validate-metrics-catalog-spec: ## Validates all metrics-catalog.*.yml files
 	$(info $(M) Validate vars/metric-catalog.yml with json-schema...)
-	$(JV_BINARY) ./schema/vectordev-metrics-catalog.json ./ansible-playbook/vars/metrics-catalog.yml
+	@for file in ./ansible-playbook/vars/metrics-catalog.*.yml; do \
+        echo "Checking file: $$file"; \
+        $(JV_BINARY) ./schema/vectordev-metrics-catalog.json $$file && echo OK; \
+    done
 
 
 .PHONY: lint-vector-config
@@ -106,7 +110,7 @@ generate-vector-conf: | validate-metrics-catalog-spec lint-vector-config ## Gene
 	VECTOR_KAFKA_USERNAME=fake \
 	ansible-playbook -connection=local --inventory localhost, $($@_tmpfile) \
 		--tags aggregator \
-		--extra-vars "development_mode=true" \
+		--extra-vars "vector_environment=$(VECTOR_ENV)" \
 		--extra-vars "ansible_sudo_pass=$(SUDO_PASSWORD)" \
 		--extra-vars "local_build=true" \
 		--extra-vars "vector_config_dir=$(VECTOR_CONFIG_DIR)" \
@@ -121,21 +125,33 @@ validate-vector-conf: generate-vector-conf ## Validate current vector.dev config
 	$(info $(M) Validate vector config at $(VECTOR_CONFIG_DIR)...)
 	$(VECTOR_BINARY) validate -C $(VECTOR_CONFIG_DIR) --no-environment
 
-.PHONY: test-vector-transfroms
-test-vector-transfroms: | generate-vector-conf validate-vector-conf  ## Run vector.dev transform tests
-	$(info $(M) Run transforms tests with config $(VECTOR_CONFIG_DIR)...)
+.PHONY: test-vector-transforms
+test-vector-transforms: | generate-vector-conf validate-vector-conf  ## Run vector.dev transform tests (with generate and validate config)
+	$(info $(M) Run transforms tests with config $(VECTOR_CONF_NAME) at $(VECTOR_CONFIG_DIR)...)
 	$(VECTOR_BINARY) test $(VECTOR_CONFIG_DIR)/*_sources_*.toml $(VECTOR_CONFIG_DIR)/*transforms_*.toml $(VECTOR_CONFIG_DIR)/*_tests_*.toml
 
-.PHONY: test-vector-transfrom
-test-vector-transfrom:  ## Run vector.dev test for a specifed test file
+.PHONY: test-vector-transform
+test-vector-transform:  ## Run vector.dev test for a specified test file (no config generation included). Use var file=files/aggregator/tests/filename to provide a test file name
 ifndef file
-	@echo "To run use file=testfile make ..."
+	@echo "To run use file=files/aggregator/tests/testfile.toml.j2 make test-vector-transform"
+	@echo "It will include the specified file into check excluding other test files, except embedded in transforms files"
 else
-	$(info $(M) Run a transform test with config $(VECTOR_CONFIG_DIR)...)
+	$(info $(M) Run a transform test with config $(VECTOR_CONF_NAME) at $(VECTOR_CONFIG_DIR)...)
 	@echo Test file: $(file)
-	$(VECTOR_BINARY) test $(VECTOR_CONFIG_DIR)/*_sources_*.toml $(VECTOR_CONFIG_DIR)/*transforms_*.toml $(file)
+	$(eval PROCESSED_PATH=$(shell echo $(file) | sed 's/files\///' | sed 's/\.j2$$//' | tr '/' '_'))
+	$(eval RENDERED_PATH=$(VECTOR_CONFIG_DIR)/$(PROCESSED_PATH))
+	@echo Rendered test file: $(RENDERED_PATH)
+	@test -s $(RENDERED_PATH) || { echo "No rendered test file exists! Exiting..."; exit 1; }
+	$(VECTOR_BINARY) test $(VECTOR_CONFIG_DIR)/*_sources_*.toml $(VECTOR_CONFIG_DIR)/*transforms_*.toml ${RENDERED_PATH}
 endif
 
+
+.PHONY: generate-vector-graph
+generate-vector-graph: ## Generate vector.dev transform topology graph as SVG
+	$(info $(M) Generate vector topology as SVG with config $(VECTOR_CONF_NAME) at $(VECTOR_CONFIG_DIR)...)
+	$(info $(M) You should have graphviz installed: sudo apt install graphviz)
+	$(VECTOR_BINARY) graph -C $(VECTOR_CONFIG_DIR) | dot -Tsvg > vector_topology.svg
+
 help: ## Show this help
 	@grep -E '^[a-zA-Z_-]+:.*?## .*$$' $(MAKEFILE_LIST) | sort | awk 'BEGIN {FS = ":.*?## "}; {printf "\033[36m%-30s\033[0m %s\n", $$1, $$2}'
 

README.md

@@ -2,9 +2,11 @@
 
 В данном каталоге лежат файлы описывающий подход, позволяющий генерировать метрики из логов без переписывания кода трансформов под каждый сервис.
 
+**Внимание!** [Версия v1](https://github.com/vseinstrumentiru/vector.dev-metrics-to-logs-helper/tree/1.0.0) содержала [баг #1](/../../issues/1) который проявлялся, только если вы добавляли разные определения метрик (разные лейблы, разные фильтры). В текущей версии это исправлено (см. [новый граф обработки](docs/vector_topology-separate-metric-fileters.svg)).
+
 1. Полагаемся на то, что все сервисы пишут логи в фиксированном формате JSON и имеют одинаковый набор обязательных полей. См. [example_logs]
 2. Для кодогенерации использован Ansible и jinja2 шаблоны. Генерируем toml файлы конфигурации vector.dev и тесты к ним, где нужно.
-3. Метрики определяются в файле [ansible-playbook/vars/metrics-catalog.yml], после этого запускаем генерацию через ansible. См пример в Makefile
+3. Метрики определяются в файле [ansible-playbook/vars/metrics-catalog.<env>.yml], после этого запускаем генерацию через ansible. См пример в Makefile. По умолчанию генерируется для `env=testing`, чтобы генерировать для production запускать `VECTOR_ENV=production make <команда>`
 4. Отдельной задачей конфигурации выгружаются на серверы с агрегаторами vector.dev, и для применения новой конфигурации выполняется перезапуск процесса vector
 
 ## Что нам дал рефакторинг
@@ -18,16 +20,19 @@
 
 Данный код является ознакомительным и не представляет собой готовое решение, вы можете придумать свое на основе данных идей.
 Потому мы не приводим полные конфигурации vector.dev, код развертывания и полный набор ansible файлов для playbook.
-Однако вы можете сгенерировать по файлу [ansible-playbook/vars/metrics-catalog.yml] файлы конфигурации vector и посмотреть как они выглядят.
+Однако вы можете сгенерировать по файлу [ansible-playbook/vars/metrics-catalog.<env>.yml] файлы конфигурации vector и посмотреть как они выглядят.
 
 ## Генерирование файлов конфигурации
 
 1. Используйте Ubuntu Linux (или Debian)
 2. Запустите `make install-dependencies` и `make install-dev-dependencies`
 3. Запустите `make download-vector-bin` - установить файлы vector для валидации запуска тестов
-4. Выполните сборку и тесты `make test-vector-transfroms`
+3. Метрики определяются в файле [ansible-playbook/vars/metrics-catalog.<env>.yml], после этого запускаем генерацию через ansible. См пример в Makefile. По умолчанию генерируется для `env=testing`, чтобы генерировать для production запускать `VECTOR_ENV=production make <команда>`
+4. Выполните сборку и тесты `VECTOR_ENV=<env> make test-vector-transforms`, если не указать VECTOR_ENV, то используется `VECTOR_ENV=testing`
 5. Созданные файлы смотрите в каталоге [.generated/vector_config]
 
 ## Контакты
 
 Если вам интересны подробности вы можете писать нам, см. сайт https://vitech.team/ ("По вопросам сотрудничества") или приходите работать к нам.
+
+Или https://github.com/r3code

ansible-playbook/playbook.yml

@@ -2,15 +2,14 @@
 - name: Configure aggregator
   hosts: aggregator
   vars:
-    development_mode: false
     vector_user_configs_paths:
       - "{{ playbook_dir }}/../files/aggregator"
     clickhouse_local_endpoint: "{{ hostvars[inventory_hostname].clickhouse_local_endpoint }}"
     vector_kafka_sasl_password: "{{ lookup('ansible.builtin.env', 'VECTOR_KAFKA_PASSWORD') }}"
     vector_kafka_sasl_username: "{{ lookup('ansible.builtin.env', 'VECTOR_KAFKA_USERNAME') }}"
   vars_files:
-    - "{{ playbook_dir }}/vars/metrics-catalog.yml"
-  ignore_errors: true
+    - "{{ playbook_dir }}/vars/metrics-catalog.{{ vector_environment }}.yml"
+  any_errors_fatal: true
   tasks:
     - name: "Local Build. Generate Vector Config Files"
       ansible.builtin.include_tasks: tasks/vector_config_generate_tasks.yml

ansible-playbook/tasks/vector_config_generate_tasks.yml

@@ -2,7 +2,7 @@
 - name: Remove generated vector configs dir
   ansible.builtin.file:
     state: absent
-    path: "{{ playbook_dir }}/../.generated/vector_configs/"
+    path: "{{ playbook_dir }}/../.generated/vector_config/"
   delegate_to: localhost
 
 - name: Find user-defined configs
@@ -25,7 +25,7 @@
 - name: Create generated vector configs dir
   ansible.builtin.file:
     state: directory
-    path: "{{ playbook_dir }}/.generated/vector_configs/"
+    path: "{{ playbook_dir }}/../.generated/vector_config/"
     mode: 0777
   delegate_to: localhost
 

ansible-playbook/vars/metrics-catalog.yml renamed to ansible-playbook/vars/metrics-catalog.production.yml

@@ -15,7 +15,7 @@ metrics_catalog:
         is_internal_traffic:
           eq: "1"
         namespace:
-          eq: "shop-production"
+          eq: "webshop-production"
         service_name:
           re: "^.*-canary(-.*)?$"
 
@@ -38,31 +38,55 @@ metrics_catalog:
                 # Порядок вычисления условий в группе: neq, nre, eq, re, (oneOfRe - не реализован)
                 eq: "/" # оператор и значение для сравнениея
               namespace:
-                eq: "shop-production"
+                eq: "webshop-production"
               service_name:
-                re: "^shop-service(?:-canary)?$"
+                re: "^webshop(?:-canary)?$"
               http_method:
                 eq: "GET"
           - selector: "Запросы на создание заказа в интернет магазине"
             filter:
               http_path:
                 re: "^/order$|^/order-fast$"
               namespace:
-                eq: "shop-production"
+                eq: "webshop-production"
               service_name:
-                re: "^shop-service(?:-canary)?$"
+                re: "^webshop(?:-canary)?$"
           - selector: "Открытие страницы производителя в интернет магазине"
             filter:
               http_path:
                 re: "^/vendor/(?P<name>([^/]+/)+)$"
                 label_override: "/vendor/:name"
               namespace:
-                eq: "shop-production"
+                eq: "webshop-production"
               service_name:
-                re: "^shop-service(?:-canary)?$"
+                re: "^webshop(?:-canary)?$"
       # Метрика vi_http_request_duration_seconds
       request_duration_seconds: # требуется для transforms.metrics-http-accesslog-k8s - бакеты определены там
         metric_type: histogram
         group_by_logfield: "duration_sec"
         label_logfield_mapping: *default_label_logfield_mapping
         event_selectors: *global_http_requests_total_event_selectors
+    vi_kubedns_http:
+      requests_total:
+        metric_type: counter
+        group_by_logfield: *global_http_requests_total_status_code
+        label_logfield_mapping: &kubedns_label_logfield_mapping
+          vhost: "http_host"
+          service_name: "service_name"
+          k8s_cluster: "cluster_name"
+          namespace: "namespace"
+          method: "http_method"
+          status: "http_status_code"
+        event_selectors: &kubedns_http_requests_total_event_selectors
+          # фильтры подходящих нам метирик
+          - selector: Монолит - входящие запросы по kubedns
+            filter:
+              namespace:
+                eq: "webshop-production"
+              http_host:
+                re: ".*local"
+      request_duration_seconds:
+        metric_type: histogram
+        group_by_logfield: "duration_sec"
+        label_logfield_mapping: *kubedns_label_logfield_mapping
+        event_selectors: *kubedns_http_requests_total_event_selectors