Data Engineer - W2 ONLY - Tricon Solutions

Job Title: Data Engineer

Location: Triangle region of North Carolina (Onsite presence required)

Required Skills:

• Excellent interpersonal skills as well as written and communication skills (5 Years)

• Able to write clean, easy-to-follow Databricks notebook code (2 Years)

• Deep knowledge of data engineering best practices, data warehouses, data lakes, and the Delta Lake architecture (2 Years)

• Good knowledge of Spark and Databricks SQL/PySpark (2 Years)

• Technical experience with Azure Databricks and cloud providers like AWS, Google Cloud, or Azure (2 Years)

• In-depth knowledge of OLTP and OLAP systems, Apache Spark, and streaming products like Azure Service Bus (2 Years)

• Good practical experience with Databricks Delta Live Tables (2 Years)

Desired Skills:

• Knowledge of object-oriented languages like C#, Java, or Python (7 Years)

Roles and Responsibilities:

• Research and engineer repeatable and resilient ETL workflows using Databricks notebooks and Delta Live Tables for both batch and stream processing

• Collaborate with business users to develop data products that align with business domain expectations

• Work with DBAs to ingest data from cloud and on-prem transactional databases

• Contribute to the development of the Data Architecture for NC DIT - Transportation by:

  • Following practices for keeping sensitive data secure

  • Streamlining the development of data products for use by data analysts and data scientists

  • Developing and maintaining documentation for data engineering processes

  • Ensuring data quality through testing and validation

  • Sharing insights and experiences with stakeholders and engineers throughout DIT – Transportation

Additional Details:

• May require up to 1-2 days per month in a Triangle area office for meetings