Onderstaande tips helpen je om je Microsoft Fabric‑omgeving optimaal in te richten. Deze adviezen hebben niet specifiek betrekking op de Fabric Connector, maar op het gebruik van Microsoft Fabric in het algemeen.
Gebruik Azure Keyvault
Het is niet wenselijk om de connectorkey zichtbaar in de notebooks te laten staan. Tijdens de eerste inrichting kan dit praktisch zijn, maar daarna adviseren we om de sleutel op te slaan in Azure Key Vault. Dit verhoogt de veiligheid en voorkomt dat gevoelige gegevens per ongeluk worden gedeeld of gepubliceerd.
Voor het gebruik van Azure Key Vault heb je een actieve Azure‑omgeving nodig. Dit is doorgaans ook het geval wanneer je een betaald Fabric‑abonnement gebruikt. De kosten van Key Vault zijn minimaal (een paar cent per 10.000 transacties).
Volg onderstaande stappen om Azure Keyvault te gebruiken:
- Maak een Key Vault aan in de Azure portal (zie de Azure documentatie voor uitleg).
- Maak een Secret aan in de key vault (zie de Azure documentatie voor uitleg). Vul bij ‘Secret value’ de connectorkey in die je eerder gekopieerd hebt vanuit PowerBIConnector.nl (zie hoofdstuk 1.2 Account)
- Ga in de Key Vault naar de tab Overview en kopieer de Vault URI (deze ziet er bijvoorbeeld zo uit: https://<naamkeyvault>.vault.azure.net/)
- Kopieer de naam van de Secret die je zojuist hebt aangemaakt.
- Pas de notebook cel aan zoals in het onderstaande voorbeeld:
- Vanaf nu wordt de connectorkey automatisch uit Azure Key Vault opgehaald en is deze niet langer zichtbaar in het notebook. Dit verhoogt de veiligheid en maakt het beheer van connectorkeys eenvoudiger en veiliger.
Let op: de gebruiker die het Fabric notebook uitvoert moet in Azure Key Vault ten minste de rol Key Vault Secrets User hebben om de secret te kunnen gebruiken.
Starten / stoppen Fabric Capacity
De kosten van Microsoft Fabric worden per minuut berekend. Voor elke minuut dat je Fabric‑capacity actief is, ontvang je een bepaald aantal Capacity Units (CU’s), afhankelijk van de gekozen SKU.
Bijvoorbeeld: een F2‑SKU levert 2 CU per seconde, wat neerkomt op 120 CU per minuut / 7200 per uur.
Wanneer je structureel minder CU’s verbruikt dan beschikbaar zijn binnen je SKU, kan het financieel aantrekkelijk zijn om de Fabric‑capacity te pauzeren. Tijdens de periode dat de capacity is uitgeschakeld, worden er geen kosten in rekening gebracht.
Je kunt een Fabric‑capacity automatisch op vaste tijdstippen aan‑ of uitzetten met behulp van Azure Logic Apps of Power Automate. Een uitgebreide uitleg kun je zien in deze video (Logic App vanaf 8:24 en Power Automate vanaf 15:36).
Belangrijke aandachtspunten:
- Als je in Power BI werkt met Direct Lake, dan moet de Fabric capacity altijd ingeschakeld zijn, omdat de data anders niet beschikbaar is.
- Als je in Power BI werkt met import via het SQL Endpoint, dan moet de Fabric capacity alleen ingeschakeld zijn op het moment van de refresh. De data wordt tijdens de verversing in het semantisch model van Power BI opgeslagen en blijft daarna beschikbaar, ook als de capacity weer wordt gepauzeerd.
- Fabric werkt met smoothing and bursting, waardoor CU’s tijdelijk in het voren kunnen worden verbruikt. Wanneer je de capacity pauzeert, worden alle CU’s die boven het beschikbare tegoed zijn gebruikt direct afgerekend. Dus stel dat je F2 SKU een half uur aan staat, dan heb je 3600 CU als tegoed. Als je in het halve uur 5000 CU hebt verbruikt en je pauzeert de Fabric capacity, dan worden er 1400 CU extra afgerekend.
- Met de Fabric Capacity Metrics App krijg je goed inzicht in het CU-verbruik. Het kan dus lonend zijn om je verbruik goed te analyseren en het starten en stoppen van je Fabric Capacity hier op in te richten.
Tip: de kosten van Microsoft Fabric verschillen per Azure‑regio. Zo liggen de tarieven in Noord‑Europa ongeveer 15% lager dan in West‑Europa. Wanneer je Fabric‑capacity 24×7 actief moet laten draaien, kun je bovendien tot 41% besparen door gebruik te maken van Azure Reservations.
Onderhoud lakehouse
In een Microsoft Fabric Lakehouse worden Delta‑tabellen automatisch beheerd, maar om de prestaties hoog te houden en opslag efficiënt te gebruiken kun je aanvullende onderhoudstaken uitvoeren. De twee belangrijkste onderhoudsacties zijn OPTIMIZE en VACUUM. Deze zijn direct beschikbaar in de Lakehouse‑omgeving en kunnen zowel handmatig als via code of API worden uitgevoerd.
Optimize
De OPTIMIZE‑bewerking combineert grote aantallen kleine Parquet‑bestanden in een kleiner aantal grote bestanden. Dit verbetert de prestaties van query’s aanzienlijk, omdat engines minder afzonderlijke bestanden hoeven te openen en te scannen.
Belangrijke voordelen:
- Combineert kleine bestanden tot grotere bestanden voor snellere leesacties
- Vermindert metadata‑overhead en versnelt analyses
- Aanbevolen na grote laadprocessen of workloads die veel kleine bestanden genereren
Meer informatie kun je lezen in de Microsoft documentatie.
Vacuum
De VACUUM‑bewerking verwijdert oude, niet‑meer‑gebruikte bestanden uit een Delta‑tabel. Wanneer rijen worden verwijderd of overschreven, blijven de onderliggende bestanden nog enige tijd bestaan om time travel mogelijk te maken. VACUUM zorgt ervoor dat deze oude bestanden permanent worden verwijderd zodra ze ouder zijn dan de ingestelde retentieperiode (standaard: 7 dagen).
Belangrijke voordelen:
- Verwijdert oude, niet‑gerefereerde bestanden op basis van de Delta‑log
- Voorkomt opslagverspilling en houdt de Lakehouse‑omgeving schoon
- Belangrijk voor lange‑termijn performance en beheersbare opslagkosten
Meer informatie kun je lezen in de Microsoft documentatie.