Azure Dataplatform Ontwikkelingen in Azure SQL, Database Hyperscale en Azure Data Catalog Eind vorig jaar vlogen Wilfred Noppers, Unit Manager Apps & Infra bij Motion10 en Gijs in ’t Veld, CTO en Technical Lead Data & Analytics naar Seattle voor de jaarlijkse LEAP conferentie van Microsoft. Wat waren de meest opvallende ontwikkelingen in het Microsoft platform waar tijdens die conferentie over gesproken werd? De focus lijkt voor Microsoft in 2020 te liggen op Advanced Analytics, IoT (of Edge) en Low code met het Power Platform en Azure. De zesde sessie die Gijs bijwoonde tijdens LEAP ging over de functionaliteiten en ontwikkelingen met in het Azure Dataplatform. Ook deze sessie werd geleid door Ajay Jagannathan, Principal Group Program Manager Azure Data. Ontwikkelingen in Azure SQL De specialisatie van Ajay is Azure SQL Database, SQL Datawarehouse en SQL migraties. Er zijn nu zo'n vijf miljoen database instances in Azure SQL en ondertussen zijn er één miljoen on-prem (SQL Server) databases naar Azure SQL gemigreerd. SQL Azure is meer en meer een datahub (voor relationele data) aan het worden. Je kunt bijvoorbeeld nu vrij gemakkelijk een join doen over verschillende tabellen in verschillende databases van verschillende leveranciers. Ook kun je met programmeertaal R meer geavanceerde analytics doen. Leuk weetje: er is maar één code base voor SQL. Of het nu on-prem, in Azure of op de edge wordt uitgerold, het is op basis van dezelfde source code. SQL Database Hyperscale, open source en Azure Data Catalog Gen 2 Azure SQL Database Hyperscale is bedoeld voor massive parallel processing van relationele, transactionele data. Daar tegenover staat de (Hyperscale) Azure Synapse wat puur voor analytics bedoeld is. Microsoft gaat anders om met open source databases zoals PostgreSQL en MariaDB dan Amazon dat [...]

Azure Kubernetes Service Cloud computing reinvented? Eind vorig jaar vlogen Wilfred Noppers, Unit Manager Apps & Infra bij Motion10 en Gijs in ’t Veld, CTO en Technical Lead Data & Analytics naar Seattle voor de jaarlijkse LEAP conferentie van Microsoft. Wat waren de meest opvallende ontwikkelingen in het Microsoft platform waar tijdens die conferentie over gesproken werd? De focus lijkt voor Microsoft in 2020 te liggen op Advanced Analytics, IoT (of Edge) en Low code met Azure en de rest van het Microsoft platform. De eerste inhoudelijke sessie die Gijs volgde ging over Azure Kubernetes Service, en ging over Azure Kubernetes Service (AKS). De leider van de sessie was Sean McKenna, Principle Lead Program Manager van AKS. Wat is precies de toegevoegde waarde van AKS, waarom zou je migreren van App Service naar Kubernetes en wat zijn de toekomstplannen van Microsoft op dit gebied? Azure Kubernetes Service Azure Kubernetes Service of AKS is een vorm van open-source software die helpt om applicaties op grote schaal in gebruikt te nemen. De boodschap van Sean is: Kubernetes is "not a silver bullet". Op zichzelf is het niet genoeg om een klantprobleem op te lossen. Het is wel de snelst groeiende "compute service" op Microsoft Azure. AKS is nog sneller gegroeid dan VM's (Virtual Machines). Onder water draait Azure Kubernetes Service (AKS) op automatisch uitgerolde VM's. Die worden niet door Microsoft gemanaged. Wel kun je het zo instellen dat de patching automatisch gebeurt. Azure App Service naar AKS – van PaaS naar IaaS Een vraag uit de groep is "waarom zou je van App Service naar AKS migreren?". En dus van PaaS naar IaaS bewegen? App Service biedt veel productiviteit voor ontwikkelaars, maar is wel bedoeld voor redelijk standaard [...]

Azure Big Data De Modern Datawarehouse Approach met Azure Synapse Analytics Eind vorig jaar vlogen Wilfred Noppers, Unit Manager Apps & Infra bij Motion10 en Gijs in ’t Veld, CTO en Technical Lead Data & Analytics naar Seattle voor de jaarlijkse LEAP conferentie van Microsoft. Wat waren de meest opvallende ontwikkelingen in het Microsoft platform waar tijdens die conferentie over gesproken werd? De focus lijkt voor Microsoft in 2020 te liggen op Advanced Analytics, IoT (of Edge) en Low code met Azure en de rest van het Microsoft platform. De vierde sessie die Gijs bijwoonde tijdens LEAP ging over het analyseren van Big Data met behulp van verschillende elementen van de Microsoft stack. De sessie werd geleid door Michael Rys, Principal Program Manager Azure Big Data. Azure Big Data: De Modern Datawarehouse Approach Michael vertelt ons over Azure Synapse Analytics. Hij begint met uitleggen waarom traditionele datawarehousing tekortschiet: zodra er nieuwe typen data bijkomen (niet relationeel, IoT, social, etc.), de volumes enorm toenemen en zodra we te maken krijgen met cloud-born data. Het datawarehouse is ontworpen om vragen te antwoorden die je al kent. Met de nieuwe vormen van data wil je kunnen experimenteren. Daarom is het data lake ontstaan, om dit soort uitdagingen te kunnen adresseren. Dit noemt Microsoft nu the modern datawarehouse approach. Het is in feite een hybride aanpak: data lake + datawarehouse. Azure Synapse Analytics vs. SQL Datawarehouse De gebundelde mogelijkheden worden nu door Azure Synapse Analytics geboden. Dit biedt een geïntegreerde gebruikerservaring, door middel van Synapse Analytics Studio. En kent als data-opslag SQL datawarehouse (wat nu verwarrend genoeg "Synapse Analytics" is genoemd, terwijl dat als geheel veel meer biedt) en Apache Spark. Op de roadmap staat dat Azure Synapse Common Data [...]

Azure AI Ontwikkelingen rondom artificiële intelligentie in het Azure Platform Eind vorig jaar vlogen Wilfred Noppers, Unit Manager Apps & Infra bij Motion10 en Gijs in ’t Veld, CTO en Technical Lead Data & Analytics naar Seattle voor de jaarlijkse LEAP conferentie van Microsoft. Wat waren de meest opvallende ontwikkelingen in het Microsoft platform waar tijdens die conferentie over gesproken werd? De focus lijkt voor Microsoft in 2020 te liggen op Advanced Analytics, IoT (of Edge) en Low code met Azure en de rest van het Microsoft platform. De vijfde sessie die Gijs bijwoonde tijdens LEAP ging over de functionaliteiten en ontwikkelingen met betrekking tot AI binnen de Microsoft Azure stack. De sessie werd geleid door Ajay Jagannathan, Principal Group Program Manager Azure Data. Ontwikkelingen in Azure AI Op dit moment haalt Microsoft Cognitive Services een score van 96% (ten opzichte van mensen) op het herkennen van objecten. Er worden op dit moment vijf miljard transacties per maand door Cognitive Services verwerkt. Dat zijn indrukwekkende cijfers. Het Bot Framework verwerkt op dit moment zo'n één miljard berichten per maand. In ML Studio is veel aandacht voor de explainability en fairness van modellen. Daarnaast is MLOps een belangrijk aspect. Het hele beheer, de governance en lifecycle van machine learning modellen is hiermee mogelijk. Deep learning sentiment analysis maakt het mogelijk om van paragrafen en zinnen het sentiment weer te geven. Daarnaast is het in staat om persoonlijke gegevens in teksten te herkennen. Deep custom neural voice capability maakt het mogelijk om door een stem-synthesizer iemand te laten praten alsof hij Morgan Freeman is. Bot Framework in Power Virtual Agents Het Bot Framework wordt nu ook ingezet in Power Virtual Agents, zodat je je Power Apps gemakkelijk kunt [...]

Business Apps met het Power Platform Microsoft Power Apps wordt een full stack Low code omgeving Eind vorig jaar vlogen Wilfred Noppers, Unit Manager Apps & Infra bij Motion10 en Gijs in ’t Veld, CTO en Technical Lead Data & Analytics naar Seattle voor de jaarlijkse LEAP conferentie van Microsoft. Wat waren de meest opvallende ontwikkelingen in het Microsoft platform waar tijdens die conferentie over gesproken werd? De focus lijkt voor Microsoft in 2020 te liggen op Advanced Analytics, IoT (of Edge) en Low code met Azure en de rest van het Microsoft platform. De zevende sessie die Gijs bijwoonde tijdens LEAP ging over de functionaliteiten en ontwikkelingen in Microsoft’s eigen Low code platform Power Apps. De sessie werd geleid door James Oleinik, Principal Group PM Manager, Power Platform. White label Power Apps Voordat de sessie begon ben ik even naar de spreker, James, toegelopen en heb ik hem gevraagd of het mogelijk wordt om Power Apps in de market place te kunnen gaan publiceren als "white label apps". Dit staat nog niet op korte termijn op de roadmap (Microsoft plant in het algemeen maar 3 maanden vooruit). Hij verwacht wel dat dit gaat komen. Wat natuurlijk wel al kan is ze in App Source voor Dynamics gebruikers publiceren. Hij vertelde ook dat de runtimes en de ontwikkelomgeving gaan convergeren naar één, waarbij er dus maar éém runtime en één ontwikkelomgeving (de Unified Interface) is voor zowel de Canvas Apps als de Model Driven Apps. Interessant! Low code voor versnelling van de digitale transformatie Op dit moment gebruikt 86% van de Fortune 500 bedrijven Power Apps. James positioneert low code, en dus Power Apps, als mogelijkheid om digitale transformatie te versnellen. Dus niet zomaar iets om [...]

Ambient Data Governance Data Governance in de Azure Data Catalog Eind vorig jaar vlogen Wilfred Noppers, Unit Manager Apps & Infra bij Motion10 en Gijs in ’t Veld, CTO en Technical Lead Data & Analytics naar Seattle voor de jaarlijkse LEAP conferentie van Microsoft. Wat waren de meest opvallende ontwikkelingen in het Microsoft platform waar tijdens die conferentie over gesproken werd? De focus lijkt voor Microsoft in 2020 te liggen op Advanced Analytics, IoT (of Edge) en Low code met Azure en de rest van het Microsoft platform. De achtste sessie die Gijs bijwoonde tijdens LEAP ging over de functionaliteiten en ontwikkelingen in rondom de governance oftewel het beheer van data in Azure Data Catalog en de bredere Azure stack. De sessie werd geleid door Prasad Mujumdar Principal Program Manager, Azure Data Governance. Waarom Ambient Data Governance? Prasad is sinds drie maanden in dienst bij Microsoft. Hij zat bij BlueTalon, een start-up die onlangs is overgenomen. Dat bedrijf was gespecialiseerd in data governance. En die technologie is nu het belangrijkste onderdeel van de governance tooling van Microsoft. Data is tegenwoordig niet meer alleen opgeslagen in een (paar) SQL databases, maar verspreid over verschillende data stores, zowel relationeel als niet relationeel, gestructureerd en ongestructureerd. Het wordt dus steeds lastiger om hier governance op te doen. Governance gaat over: Discover (ontdekken en classificeren); Monitor (analyseren van data en risico's identificeren); Protect (policies toepassen). Veiligheid en beheer in Azure Data Catalog Er is sprake van Native Enforce Points en Add on (= 3rd party) Enforce Points. De eerste zijn er voor SQL, ADF, SSIS, Spark, Data Lake Store en Power BI. De laatste zijn er voor andere relationele databases en big data stores. Dit zijn in feite de agents [...]

Power BI roadmap en AI De ontwikkelingen voor Power BI in 2020 Eind vorig jaar vlogen Wilfred Noppers, Unit Manager Apps & Infra bij Motion10 en Gijs in ’t Veld, CTO en Solution Lead Data & Analytics naar Seattle voor de jaarlijkse LEAP conferentie van Microsoft. Wat waren de meest opvallende ontwikkelingen in het Microsoft platform waar tijdens die conferentie over gesproken werd? De focus lijkt voor Microsoft in 2020 te liggen op Advanced Analytics, IoT (of Edge) en Low code met Azure en de rest van het Microsoft platform. De op-één-na-laatste sessie die Gijs bijwoonde tijdens LEAP ging over ontwikkeling en toekomst van Microsoft Power BI. Er was onder andere een focus op de AI-functionaliteiten in het programma. De sessie werd geleid door Marc Reguera, Power BI Enterprise Lead en Sarina Stevens, Program Manager, AI Features Power BI. Power BI roadmap en AI Power BI moet de PowerPoint van data worden. De eerste twee á drie jaar van de ontwikkeling van Power BI was met name gericht om qua basale features op hetzelfde niveau als Tableau te komen (een bedrijf overigens, dat onlangs voor $15B is overgenomen door Salesforce). Daarna is er met name geïnvesteerd in het verder uitbreiden van de AI mogelijkheden. En dat is nog steeds gaande. Er zal de komende tijd op de volgende gebieden met name geïnvesteerd worden: Productiviteit. Vertrouwen. Actie. De drie AI-componenten in Power BI Sarina doet de demo. De Decomposition Tree (één van de drie AI-componenten in het huidige Power BI) kan een bepaalde measure vanuit allerlei dimensies, op verschillende niveaus bekijken en analyseren. Marc vertelt hierbij dat dit soort analyses hem vroeger als financieel verantwoordelijke voor cost centers bij Microsoft uren of zelfs dagen kostte: "Mijn voornaamste taak [...]

Intelligent Cloud, Intelligent Edge De toekomst van Microsoft Azure IoT Eind vorig jaar vlogen Wilfred Noppers, Unit Manager Apps & Infra bij Motion10 en Gijs in ’t Veld, CTO en Solution Lead Data & Analytics naar Seattle voor de jaarlijkse LEAP conferentie van Microsoft. Wat waren de meest opvallende ontwikkelingen in het Microsoft platform waar tijdens die conferentie over gesproken werd? De focus lijkt voor Microsoft in 2020 te liggen op Advanced Analytics, IoT (of Edge) en Low code met Azure en de rest van het Microsoft platform. De laatste sessie voor Gijs tijdens LEAP ging over de ontwikkeling en toekomst van Azure IoT. De sessie werd geleid door Kevin Miller, Partner Group Program Manager. Intelligent Cloud, Intelligent Edge: een kantelpunt voor IoT De belangrijkste boodschap van deze sessie was: In het laatste jaar is de IoT-wereld op een kantelpunt gekomen. Er worden nu mission critical IoT-oplossingen uitgerold, nadat er eerst jaren over gesproken en mee uitgeprobeerd geprobeerd werd en de vragen nog met name gingen over connectiviteit en management. Het IoT-team bij Microsoft is nu bijna 600 mensen groot. Er worden per dag door sommige klanten meer events gegenereerd dan een jaar geleden door alle klanten bij elkaar. Asset management rond IoT is een cruciaal aspect. Als een motor een probleem rapporteert, maar je weet niet in welke trein hij zit heb je een probleem. Zeker in dit geval, omdat een stilstaande trein in een station een sneeuwbaleffect heeft op de rest van de infrastructuur. AI op de IoT Edge Een van de learnings is dat in het verleden AI-oplossingen werden gerealiseerd die uitgingen van oneindig beschikbare resources. Maar voor AI op de IoT Edge is dat onmogelijk. Dan moet er altijd een afweging worden [...]

Azure Application Innovation Azure hosting, Azure Functions en “Cloud glue” Eind vorig jaar vlogen Wilfred Noppers, Unit Manager Apps & Infra bij Motion10 en Gijs in ’t Veld, CTO en Technical Lead Data & Analytics naar Seattle voor de jaarlijkse LEAP conferentie van Microsoft. Wat waren de meest opvallende ontwikkelingen in het Microsoft platform waar tijdens die conferentie over gesproken werd? De focus lijkt voor Microsoft in 2020 te liggen op Advanced Analytics, IoT (of Edge) en Low code met Azure en de rest van het Microsoft platform. De tweede sessie die Gijs volgde ding over Azure App Service en Azure Functions, en werd geleid door Alex Karcher, Program Manager Azure Functions bij Microsoft. “App services” is een verzamelnaam voor functionaliteiten en diensten die ontwikkelaars in staat stellen om snel krachtige web en mobiele apps te creëren en uit te rollen. Wat zijn de ontwikkelingen op dit gebied bij Microsoft Azure? Azure Application Innovation Alex positioneert de verschillende applicatie hosting services die beschikbaar zijn in Azure. Hij begint met een korte intro over AKS (waar we net al een hele sessie over gehad hadden) en daarna legt hij Azure App Service uit. Er is een vraag vanuit de groep rond downtime bij updates van de Azure App Service. De Microsoft best practice is om Traffic Manager ervoor te plaatsten en twee instances van App Service (liefst in verschillende regio's) erachter te draaien. Dan zal er geen downtime ontstaan. Nieuw is dat er nu een SSL certificaat bij elke App Service instance wordt geleverd. Dit maakt virtual networking eenvoudiger. Integratie: Azure Functions als “Cloud glue” Azure Functions wordt vaak ingezet als "cloud glue", om verschillende diensten die niet gemakkelijke out-of-the-box integreren toch te kunnen integreren. Functions kunnen [...]