වැඩේදී මම හදන, ඉගෙනගන්න දේවල් — data platforms, Spark, Fabric, ඒ වගේම ඒ වටේ තියෙන tools.
2012 දී Harvard Business Review එක data scientist රස්සාව "sexiest job of the 21st century" කියලා නම් කළ එක ගොඩක් දෙනා දන්නවා. ඒකට හේතුව සරලයි: big data වලින් තේරුමක් ගන්න පුළුවන් අය හිටියේ හරිම ටිකයි. ඊට පස්සේ Generative AI එකපාරටම කරළියට පැන්නා. අද මේ role එක මැරිලා නැහැ, ඒත් අපි කලින් දැනගෙන හිටපු "data scientist" කියන definition එක නම් නිල වශයෙන්ම ඉවරයි.
Anthropic එක ඩොලර් බිලියන 48ක් විතර වටිනා equity public benefit fund එකකට දෙනවා කියලා දීපු පොරොන්දුවයි, ඒකේ CEO AI වලින් funded Universal Basic Income (UBI) එකක් වෙනුවෙන් පෙනී ඉන්න එකයි Silicon Valley එකේ නිකන් thought experiments නෙවෙයි. ඒවා හයියෙන්ම නාද වෙන අනතුරු සීනු. ලංකාව වගේ දියුණු වෙමින් තියෙන ආර්ථිකයක් ජීවත් වෙන්න යැපෙන්නේ හරියටම මොන jobs මතද, Generative AI වේගයෙන් අතුගාලා දාන්නේ ඒ jobs ම තමයි.
ලංකාවේ Information Technology සහ Business Process Management (IT/BPM) sector එක ගැන කතාබහ ගොඩක් වෙලාවට පැද්දෙන්නේ අන්ත දෙකක් අතර. එක පැත්තකින් "$5 Billion Digital Dawn" වගේ බලාපොරොත්තු පුම්බපු promotional කතා, අනෙක් පැත්තෙන් skilled talent රට දාලා යන එකෙන් වෙන විනාශය ගැන බය උපදවන අනතුරු ඇඟවීම්. 2026 දී මේ sector එක ඇත්තටම යන්නේ කොයි පැත්තටද කියලා තේරුම් ගන්න නම්, කට කතා පැත්තකින් තියලා raw data දිහා බලන්නම වෙනවා.
Data පැත්තේ ටික කාලයක් වැඩ කරලා තියෙනවා නම්, මේ නිහඬ කරදරය ඔයා හොඳට දන්නවා. Warehouse එක පිරිලා තියෙන්නේ factsales, dimstore, dimproducts වගේ tables වලින්. ඒත් business එක කතා කරන්නේ customers, shipments, cold-chain breaches ගැන. කවුරුහරි "සරල" ප්‍රශ්නයක් ඇහුවම, domain expert කෙනෙක්ට වාඩි වෙලා ඒක joins, filters, column names වලට හරවන්න වෙනවා. හැමෝගෙම වැඩ හිර කරන්නේ හැම පාරම ගෙවන්න වෙන මේ translation බද්ද — Fabric IQ හදලා තියෙන්නෙත් හරියටම ඒක නැති කරන්න.
Production එකේ Spark එක්ක ටික කාලයක් වැඩ කරලා තියෙනවා නම් මේ සීන් එක ඔයාට අලුත් නෑ. සාමාන්‍යයෙන් විනාඩි අටෙන් ඉවර වෙන job එකක් එක පාරටම "199/200 tasks completed" එකේ විනාඩි හතළිස් පහක් තිස්සේ හිරවෙලා.
කවදා හරි දවසක ඕනම data team එකකට මේ ප්‍රශ්නෙට මූණ දෙන්න වෙනවා. ඇත්තටම එකම customer කෙනෙක්, company එකක්, patient කෙනෙක් systems තුන හතරක ඉන්නවා, ඒත් එයාව අඳුරගන්නේ කොහොමද කියන එක ගැන එක system එකක්වත් අනිත් ඒවා එක්ක එකඟ නෑ. CRM එකේ ඒක ACME Corp, id එක 1042. Billing system එකේ Acme Corporation Ltd, id එක BX-77. කවුරුහරි ගිය අවුරුද්දේ import කරපු spreadsheet එකක acme corp. කියලා තියෙනවා, විශ්වාස කරන්න පුළුවන් id එකක් නම් නෑ. ඔයාට ඕන එක master record එකක්, ඒ වගේම හැම transaction එකක්ම ආපහු ඒ record එකට සම්බන්ධ කරන්න ක්‍රමයක්.
AWS reskilling programs offer a structured path for individuals seeking to transition into data engineering. By leveraging these resources, you can gain the necessary skills to thrive in this evolving field.
Materialized lake views in Microsoft Fabric offer a powerful way to optimize SQL workloads by precomputing complex transformations. This article explores how to implement these views, their benefits, and considerations for production environments.
Delta Lake 4.0 introduces Delta Kernel, a pivotal step towards seamless multi-engine interoperability. This article explores how Delta Kernel simplifies connector development, enabling diverse data engines to interact with Delta Lake tables efficiently.
Spark 4.1 introduces Real-Time Mode, offering low-latency processing for micro-batch streaming workflows. This article explores how to implement and optimize these workflows, addressing common pitfalls and operational challenges.
Lakewatch by Databricks redefines security management by integrating AI-driven threat detection with a unified data platform. This article explores its architecture, operational benefits, and practical implementation challenges.
Keeping your on-premises data gateway updated is crucial for optimizing Azure Data Factory pipelines. This article explores the implications of gateway updates on performance, security, and operational efficiency.
Microsoft Fabric Data Factory offers robust support for JSON file formats, enabling seamless data integration across various sources. This article explores the practical implementation of JSON handling in Fabric Data Factory, including operational considerations and common pitfalls.
Apache Airflow 3 introduces the Task Execution Interface, a pivotal feature that enhances workflow optimization. This article explores its impact on task management, security, and deployment across diverse environments.
Explore how Jinja2 templating can be integrated with Snowflake's EXECUTE IMMEDIATE to dynamically construct and execute SQL statements. This approach enhances flexibility in SQL execution, particularly in environments where query parameters are determined at runtime.
Model Context Protocol (MCP) offers a standardized way to integrate multiple data engines on Google Cloud Platform, enabling seamless communication and data sharing between AI applications and databases. This article explores the practical implementation of MCP for multi-engine data integration, highlighting its benefits and challenges.
Explore the enhanced change data capture strategies in AWS DMS 3.5.1, focusing on operational improvements and practical implementation guidance for real-world data migration scenarios.
Explore how integrating Dagster+ with Terraform can streamline the deployment of data workflows by using infrastructure as code. Learn about the benefits, challenges, and practical implementation of this integration.
Hybrid quantum computing is reshaping the landscape of computational careers. With Amazon Braket SDK, professionals can explore new opportunities in quantum-classical algorithm development, blending traditional computing with cutting-edge quantum technologies.
The Modern Get Data experience in SQL Server Analysis Services streamlines data import by leveraging Power Query. This approach simplifies connecting, filtering, and transforming data, making it more efficient for building robust tabular models.