Python developer
| Зарплата | Не указана |
|---|---|
| Компания | Гарда Технологии |
| Город | Санкт-Петербург |
| Требуемый опыт | От 3 лет |
| Опубликована | 20 ноября 2023 г. |
Немного о проекте:
Гарда Аналитика - система класса BIG DATA SECURITY ANALYTICS* — платформа информационной и экономической безопасности, обеспечивает глобальную видимость информации и открывает новые возможности для построения комплексных систем безопасности.
Задачи:
• разработка новых и поддержка существующих парсеров для данных в различных форматах (xml, json, xlsx, html и др.), коннекторов к базам данных и сторонним API, нормализующих данные и распределяющих их по таблицам внутренней базы данных продукта;
• написание логики и эвристик нормализации и валидации данных (номера документов, номера телефонов, названия, ФИО и др.);
• анализ данных с помощью NoSQL БД Clickhouse на предмет наличия некорректных записей;
• разработка пайплайнов обработки данных в Clickhouse;
• разработка вспомогательных RESTful сервисов;
• написание ролей Ansible и Dockerfile для компонентов продукта;
• поддержка существующих модулей для Ansible.
• опыт работы от 3 лет;
• хорошие знания языка (семантика присваивания, особенности многопоточности и GIL, анонимные функции, ООП, common practices, генераторы, итераторы, менеджеры контекста ...);
• общее представление о работе с SQL базами данных (clickhouse, postgresql, sqlserver...);
• опыт написания unit-тестов;
• не бояться ОС Linux.
Желательно:
• навыки работы с сетевыми библиотеками (httplib, requests, urllib,...);
• навыки работы с парсерами (lxml, xml.etree, json,...);
• опыт разработки и использования REST API;
• умение использовать docker для сборки образов и разворачивания контейнеров;
• знания bash;
• опыт работы с C++.
Будет плюсом:
• навыки работы с CI/CD в GitLab;
• навыки работы с Ansible.