Результати одним поглядом
Проблема: NDA забороняє. GDPR забороняє. ChatGPT — не варіант.
LEDGERA — 12-особова бухгалтерська фірма, яка обслуговує 60+ SMB-клієнтів у виробництві, роздрібній торгівлі та логістиці. Щокварталу вони готують аудиторські пакети, аналіз відхилень і податкові декларації. Старший бухгалтер витрачав від 3 до 4 годин на перегляд річного звіту одного клієнта перед зустріччю.
Вони знали, що AI може допомогти. Спробували ChatGPT внутрішньо. Потім втрутився юридичний відділ.
Фінансові дані клієнтів — баланси, податкові декларації, відомості по зарплаті — захищені NDA та GDPR. Відправка в OpenAI API означає, що дані проходять через сторонні сервери поза їхнім контролем. Це порушення відповідності.
Потрібна була модель, що працює повністю на власному обладнанні в офісі. Без API-викликів назовні. Без хмари. Без винятків.
Оцінені та відхилені альтернативи:
| Варіант | Вартість | Причина відмови |
|---|---|---|
| Azure OpenAI Service (enterprise) | ~€1 800/міс | Стороння обробка, 6 місяців закупівлі |
| Google Vertex AI (private) | ~€2 100/міс | Юридична складність, незрозуміла резиденція |
| AWS Bedrock + Guardrails | ~€1 600/міс | IT-політика забороняє GPU-хмару |
| Mac Studio M4 Ultra (on-premise) | $4 999 одноразово | ✓ Дані фізично в офісі, GPU-прискорення, без абонплати |
Архітектура: один Mac Studio, всe on-premise
Вся система працює на одному Apple Mac Studio M4 Ultra, що стоїть у серверному приміщенні LEDGERA. Без хмарних сервісів, без зовнішніх API після налаштування. Дані фізично не покидають будівлю.
Що робить це приватним: запит ніколи не покидає офіс. Модель ембедингів (nomic-embed-text) працює локально. LLM (Qwen2.5-72B) працює на GPU Mac Studio через Metal. pgvector — на тій самій машині. Жодного мережевого виклику до зовнішнього сервісу під час інференсу.
Обладнання: Apple Mac Studio M4 Ultra, 192 ГБ unified memory, GPU
Коротко: Qwen2.5-72B у квантизації Q4_K_M займає 42 ГБ unified memory. 76-ядерний GPU Apple (Metal framework) запускає інференс зі швидкістю ~35 токенів/с. Відповідь надходить за 10–15 секунд. Mac Studio коштує $4 999 одноразово — без абонплати, без датацентру, без вендорного контракту.
| Компонент | Характеристика | Чому важливо |
|---|---|---|
| CPU | Apple M4 Ultra, 24-ядра (16P + 8E) | Паралельна індексація, pgvector, n8n, Open WebUI |
| GPU | 76-ядерний Apple GPU (Metal) | Прискорює LLM-інференс до ~35 токенів/с |
| Пам'ять | 192 ГБ unified (CPU + GPU спільний пул) | Модель (42 ГБ) + ОС + pgvector + 12 паралельних сесій |
| Диск | 1 ТБ SSD + Thunderbolt 5 для розширення | Швидке читання pgvector; весь архів документів |
| Розташування | Ваш офіс, ваша мережа | Дані фізично залишаються в будівлі |
| Вартість | $4 999 одноразово | Без абонплати; ROI за ~7 тижнів із заощаджень |
Чому Apple Silicon, а не хмарний GPU-сервер?
Конфіденційність: Хмарний GPU-сервер означає, що дані фізично існують у сторонньому датацентрі. З Mac Studio дані в офісі — на машині, яку ви маєте у власності, в мережі, яку ви контролюєте. Для аудиту GDPR Статті 28 відповідь проста: "дані ніколи не покидали наші приміщення."
Економіка: A100 GPU-інстанс коштує ~€1 200/міс = €14 400/рік. Mac Studio M4 Ultra за $4 999 окупається менш ніж за 7 тижнів із заощаджень на праці та нічого не коштує в другому році.
Простота: Unified memory усуває обмеження VRAM. Ollama автоматично виявляє Metal; модель завантажується і запускається однією командою.
Модель: Qwen2.5-72B, без дообучання
Коротко: Ми використали Qwen2.5-72B-Instruct при квантизації Q4_K_M через Ollama з Metal backend. Ми не дообучали модель. Fine-tuning означав би постійне кодування клієнтських фінансових даних у ваги моделі — насправді гірший результат для конфіденційності. Натомість використовуємо RAG.
Чому Qwen2.5-72B:
- Найкраща робота зі структурованими даними — перевершує Llama 3.3 70B на фінансових і табличних даних
- Мультимовна — обробляє українські, англійські та змішані документи в одному запиті
- GPU-ефективна — ~35 токенів/с на M4 Ultra через Metal (Llama 3.3 70B: ~33 токенів/с)
- Квантизація-дружня — Q4_K_M зберігає ~97% точності повної розрядності при 42 ГБ
Модель ембедингів: nomic-embed-text-v1.5 — 137M параметрів, локально через Ollama.
| Fine-tuning | RAG (наш підхід) | |
|---|---|---|
| Розташування даних клієнта | У вагах моделі | pgvector (видаляється) |
| GDPR Right to Erasure | ❌ Нереально | ✅ Видалити вектори клієнта |
| Оновлення знань | Потрібне перенавчання | Завантажте PDF → до ранку проіндексовано |
| Ізоляція даних по клієнту | ❌ Спільні ваги | ✅ Окремі vector namespaces |
Побудова бази знань: 18 годин, 2 400 документів
LEDGERA надала 3 роки архівів клієнтів: річні звіти, квартальні P&L, баланси, відомості по зарплаті, податкові декларації. Усе в PDF та XLSX.
| Етап | Час | Обсяг |
|---|---|---|
| Витягування тексту з PDF (pdfminer) | 2,1 год | 1 840 PDF |
| Парсинг XLSX (pandas) | 0,4 год | 560 таблиць |
| Чанкінг (1 000 токенів, перекриття 200) | 0,8 год | 47 300 чанків |
| Генерація ембедингів (nomic-embed-text, Metal) | 14,6 год | 47 300 векторів |
| Завантаження в pgvector | 0,1 год | — |
| Разом | 18 год | 2 400 документів |
Вузьке місце — ембединги: nomic-embed-text паралелізовано на 8 процесах → 14,6 год замість ~59 год послідовно. Щотижневе додавання нових звітів n8n запускає пайплайн вночі автоматично (20–30 нових документів: менше 30 хвилин).
Стек технологій
Що змінилося для бухгалтерів
| Задача | До | Після |
|---|---|---|
| Аналіз річного звіту | 3,5 години | 22 хвилини |
| Квартальний аналіз відхилень | 2 години | 18 хвилин |
| «Знайди клієнтів з падінням виручки >15%» | 40 хв (вручну) | 8 секунд |
| Онбординг документів нового клієнта | 1 день | Вночі (автоматично) |
Фінансовий ефект:
- Звільнено праці: ~840 годин/рік × €45/год = €37 800/рік
- Вартість обладнання: $4 999 одноразово (окупність ~7 тижнів)
- Чиста економія рік 1: ~€32 800 — до врахування доходу від 18 нових клієнтів
- Чиста економія рік 2+: €37 800/рік — обладнання вже окупилося
За 4 місяці після впровадження LEDGERA виросла з 60 до 78 активних клієнтів — без збільшення штату.
Часті запитання
Чому Mac Studio, а не хмарний GPU-сервер?
Три причини: конфіденційність (дані фізично в офісі, не в датацентрі), економіка ($4 999 одноразово vs €14 400/рік за A100) і простота (unified memory усуває обмеження VRAM). Mac Studio окупається менш ніж за 7 тижнів із заощаджень на праці.
Чи потрібен GPU для 70B-моделей?
На Apple Silicon GPU вже є в машині і ділить пам'ять із CPU (unified memory). Qwen2.5-72B Q4_K_M займає 42 ГБ із 192 ГБ і запускається на 76-ядерному GPU через Metal (~35 токенів/с). Відповідь за 10–15 секунд замість 3,5 годин ручної роботи.
Скільки часу займає розгортання?
Два тижні: налаштування Mac Studio і мережі (1 день), Ollama + завантаження моделі + pgvector (1 день), пайплайн n8n (2 дні), Open WebUI з клієнтськими воркспейсами (1 день), початкова індексація (18 годин вночі), онбординг бухгалтерів (3 дні).
Це відповідає GDPR?
Так. Вся обробка відбувається на Mac Studio в офісі LEDGERA. Дані не покидають будівлю — жодних API-викликів до OpenAI, Google чи будь-якого зовнішнього сервісу. Система відповідає Статті 28 GDPR як повністю on-premise обробка.
Схожі матеріали
Пропустіть хаотичний пошук рішень. Ми вже знаємо, що працює.
Дайте відповідь на 5 запитань про ваш процес — ми визначимо, що автоматизувати, і надішлемо конкретний план. Без дзвінка, будь-якою мовою.
Отримати план автоматизації →