Projekti un Gadījumu Izpētes

Reālas pasaules veiktspējas optimizācijas un sistēmu pārveidošanas piemēri

Ieskati un optimizācijas datu smagajās sistēmās

Automatizētas SEC Vērtspapīru Aizdevumu Pārskatu Sistēmas Izveide no Nulles

Finanšu Iestāde | Regulējumu Atbilstība | C#/.NET un SQL Server

Izaicinājums

Finanšu iestādei bija jāatbilst jaunajām SEC (Securities and Exchange Commission) vērtspapīru aizdevumu pārskatu prasībām, ko noteica FINRA (Financial Industry Regulatory Authority). Iestāde jau apstrādāja Securities Financing Transactions Regulation (SFTR) pārskatus, bet saskārās ar vairākiem kritiskiem izaicinājumiem:

  • Nav esošas sistēmas SEC specifiskajiem pārskatu darba procesiem
  • Sarežģītas regulējumu prasības ar vairākiem pārskatu tipiem (Jauns, Modificēts, Izbeigts, Atcelts, Koriģēts, Iepriekšējais, Dzēsts)
  • Stingri atbilstības termiņi, kas prasa pārskatu iesniegšanu T+1 laikā (nākamā darba diena līdz 01:00)
  • Nepieciešamība apstrādāt gan pašreizējās, gan vēsturiskās transakcijas atšķirīgi, pamatojoties uz FINRA sākuma datumiem
  • Sarežģīta biznesa loģika, kas prasa 20+ dažādus ziņošanas scenārijus, pamatojoties uz transakciju dzīves ciklu un stāvokļa izmaiņām
  • Integrācija ar esošo SFTR apstrādi, netraucējot pašreizējās operācijas
  • Failu ģenerēšana un automatizēta pārsūtīšana uz FINRA caur SFTP JSON formātā ar BZip2 saspiešanu
  • Lieli datu apjomi, kas prasa efektīvu pakešu apstrādi (5,000-10,000 transakcijas dienā)

Iestādei bija esoša SFTR pārskatu infrastruktūra, bet bija nepieciešama pilnīgi jauna paralēla sistēma SEC pārskatiem, kas varētu izmantot kopīgos datus, vienlaikus saglabājot neatkarību.

Mūsu Pieeja

Mēs projektējām un ieviešām visaptverošu SEC pārskatu automatizācijas sistēmu, integrētu ar esošo SFTR infrastruktūru. Risinājums tika veidots pakāpeniski vairāku mēnešu laikā ar fokusu uz uzticamību, atbilstību un uzturējamību.

1. Fāze: Datu Bāzes Arhitektūra un Datu Modelis

  • Projektēta normalizēta datu bāzes shēma ar izolētām SEC tabulām (SECTradeData, SECEventProcess, SECEventReport)
  • Izveidotas attiecību saites ar esošajiem SFTR bagātināšanas datiem, lai izvairītos no dublikācijas
  • Ieviesta temporālā izsekošana transakciju dzīves cikla stāvokļiem
  • Izveidotas saglabātās procedūras, izmantojot tabulu parametrus efektīvai pakešu apstrādei
  • Izveidota pareiza indeksēšanas stratēģija augstas apjoma vaicājumu veiktspējai

2. Fāze: Pamata Apstrādes Dzinējs

  • Izstrādāts C# objektu modelis, kas kartēts uz datu bāzes shēmu, izmantojot Dapper ORM
  • Ieviesta notikumu vadīta arhitektūra vērtspapīru aizdevumu transakciju apstrādei
  • Izveidots visaptverošs pārskatu loģikas dzinējs, kas apstrādā 20+ atšķirīgus scenārijus
  • Izveidota MD5 hash salīdzināšana faktisko datu izmaiņu atklāšanai pret lieku atjauninājumu
  • Integrēta nodrošinājuma un maržas apstrādes loģika

3. Fāze: Inteliģenta Pārskatu Tipu Noteikšana

  • Izstrādāts sofistikēts lēmumu dzinējs, kas kartē SFTR darbību tipus uz FINRA pārskatu tipiem
  • Ieviestas biznesa likumu ignorēšanas, pamatojoties uz transakciju raksturlielumiem
  • Izveidots validācijas ietvars, kas nodrošina pārskatu precizitāti pirms iesniegšanas

4. Fāze: JSON Failu Ģenerēšana un Pārsūtīšana

  • Izveidots visaptverošs datu kartēšanas serviss, kas pārveido datu bāzes ierakstus FINRA JSON formātā
  • Ieviestas vairāki pārskatu tipu modeļi (SECNewEvent, SECPreExistingEvent, SECTerminationEvent u.c.)
  • Izveidots failu ģenerēšanas serviss ar pareizajām FINRA nosaukumu konvencijām
  • Integrēta BZip2 saspiešana failu izmēra optimizācijai
  • Izstrādāts SFTP pārsūtīšanas serviss ar kļūdu apstrādi un atkārtošanas loģiku

5. Fāze: Pakešu Apstrāde un Plānošana

  • Projektēts apstrādes grafiks, kas saskaņots ar tirdzniecības stundām: 13:30 un 16:30 paketes, plus 23:00 galīgā pārbaude
  • Izveidota statusa izsekošana caur vairākiem stāvokļiem (Gaida rindā, Fails nosūtīts, Apstiprināts, Noraidīts)
  • Izveidota visaptveroša reģistrēšana un uzraudzība atbilstības auditam

6. Fāze: Testēšana un Kvalitātes Nodrošināšana

  • Izstrādāta plaša vienību testu komplekts, izmantojot xUnit ietvaru (881 automatizēti testi)
  • Izveidoti integrācijas testi, kas validē pilna cikla darba procesus
  • Izveidotas testu datu rūpnīcas reproducējamiem scenārijiem
  • Ieviesta paralēla testu izpilde ātrākai atsauksmei
  • Izveidota CI/CD konveijerlīnija ar automatizētu testēšanu Azure DevOps

Rezultāti

100%
Savlaicīga Atbilstība
~40 h
Manuālais Darbs Novērsts Nedēļā
<5 min
Vidējais Pakešu Apstrādes Laiks
10,000
Dienā Apstrādātas Transakcijas
99.9%
Sistēmas Darbspēja
Nulle
Atbilstības Pārkāpumi

Veiksmīga Regulējumu Atbilstība

  • 100% savlaicīga iesniegšanas likme, atbilstot T+1 regulējumu termiņiem
  • Nulles atbilstības pārkāpumi kopš ieviešanas
  • Pilnīgs auditācijas ceļš regulatoru pārbaudei
  • Automatizēta visu nepieciešamo pārskatu tipu ģenerēšana

Operacionālā Efektivitāte

  • Samazināta manuālā apstrāde no ~40 stundām nedēļā uz nulli
  • Novērstas cilvēku kļūdas pārskatu ģenerēšanā un datu kartēšanā
  • Automatizēta failu pārsūtīšana aizstāja manuālas SFTP augšupielādes
  • Reāllaika statusa izsekošana nodrošina redzamību apstrādes konveijerlīnijā

Biznesa Vērtība

  • Izvairījās no regulējumu sodiem (potenciāli miljoniem naudas sodu)
  • Novērsta nepieciešamība pēc papildu manuālās apstrādes personāla
  • Samazināts operacionālais risks caur automatizāciju
  • Pozicionēta iestāde nākotnes regulējumu izmaiņām ar elastīgu arhitektūru

Izmantotas Tehnoloģijas

C# .NET 6.0 SQL Server 2019 Dapper ORM xUnit Testēšana Azure Cloud BZip2 Saspiešana SFTP JSON Hangfire Azure DevOps

Šis gadījuma izpēte demonstrē regulējumu atbilstības sistēmu ieviešanas sarežģītību finanšu pakalpojumos, prasot ne tikai tehnisko ekspertīzi, bet arī dziļu izpratni par finanšu regulējumu prasībām, domēna zināšanām, integrācijas modeļiem, veiktspējas inženieriju un testēšanas stingrību.

SFTR Pārskatu Ģenerēšanas Laika Samazināšana no 15 Minūtēm uz Mazāk Nekā 2 Minūtēm

Finanšu Iestāde | Regulatīvie Pārskati | SQL Optimizācija

Izaicinājums

Vidēja lieluma finanšu iestāde cīnījās ar savu Vērtspapīru finansēšanas transakciju regulējuma (SFTR) pārskatu procesu. Viņu ikdienas regulatīvais pārskats, kas apkopoja sarežģītus transakciju datus no vairākām sistēmām, prasīja vairāk nekā 15 minūtes, lai ģenerētu. Tas radīja vairākas kritiskas problēmas:

  • Pārskatu logs bija šaurs, neatstājot rezerves laiku atkārtotiem mēģinājumiem, ja radās problēmas
  • Datu bāzes bloķēšana pārskatu ģenerēšanas laikā ietekmēja citas biznesa operācijas
  • Operāciju komandai bija manuāli jāuzrauga process, patērējot vērtīgu laiku
  • Jebkādas datu labošanas prasīja pilnu atkārtotu darbību, bieži iespiežoties kritiskās biznesa stundās

SFTR pārskatu sarežģītība—prasot apkopošanu pa transakciju veidiem, darījuma partneriem un nodrošinājuma vērtējumiem—padarīja procesu būtībā resursu intensīvu. Esošās saglabātās procedūras bija attīstījušās organiski laika gaitā, uzkrājot tehnisko parādu, kad tika pievienotas jaunas prasības.

Mūsu Pieeja

Mēs veicām visaptverošu pārskatu konveijerlīnijas analīzi, koncentrējoties uz trim galvenajām jomām: vaicājumu izpildes plāniem, datu bāzes shēmas dizainu un datu piekļuves paraugiem.

Izmeklēšana atklāja vairākas kritiskas šaurvietas. Pirmkārt, galvenie apkopošanas vaicājumi veica vairākus tabulu skenējumus pa transakciju tabulām, kas saturēja miljoniem rindu. Otrkārt, pagaidu sagatavošanas tabulas tika pārveidotas no jauna katram pārskata darbināšanas reizei, neskatoties uz to, ka lielākā daļa pamatā esošo datu palika nemainīga. Treškārt, sarežģīta biznesa loģika bija iegulta tieši SQL, izveidojot dziļi ligzdotas apakšvaicājumus, ar kuriem vaicājumu optimizatoram bija grūti efektīvi rīkoties.

Mūsu optimizācijas stratēģija ietver:

  • Pamata apkopošanas loģikas pārprojektēšana, lai izmantotu indeksētos skatus bieži piekļūstamām datu kombinācijām
  • Inkrementālas apstrādes pieejas ieviešana, pārrēķinot tikai datus, kas mainījušies kopš iepriekšējās darbināšanas reizes
  • Sarežģītu ligzdotu vaicājumu pārstrukturēšana virkņu labi indeksētu pagaidu tabulu ar stratēģisku filtrēto indeksu izmantošanu
  • Noteiktu biznesa loģikas aprēķinu pārvietošana materializētos stabiņos ar saglabātām aprēķinātām vērtībām
  • Transakciju datu shēmas optimizēšana, pievienojot rūpīgi projektētus sastāvdaļu indeksus, kas saskaņoti ar izplatītiem vaicājumu modeļiem
  • Paralēlas apstrādes ieviešana neatkarīgiem datu segmentiem, kur piemērots

Visa projekta gaitā mēs cieši sadarbojāmies ar iestādes operāciju un atbilstības komandām, lai nodrošinātu, ka optimizētais process saglabā pilnīgu datu precizitāti un atbilst visām regulējuma prasībām. Plaša saskaņošanas testēšana pārbaudīja, ka jaunais process radīja identiskus rezultātus kā sākotnējā ieviešana.

Rezultāti

87%
Apstrādes Laika Samazinājums
<2 min
Pārskatu Ģenerēšanas Laiks
70%
Zemāka CPU Izmantošana
Nulle
Ražošanas Ietekmes Problēmas

Optimizētais SFTR pārskatu process tagad tiek pabeigts mazāk nekā 2 minūtēs—87% samazinājums no sākotnējā 15+ minūšu izpildes laika. Šis dramatiskais uzlabojums sniedza tūlītējas operatīvās priekšrocības. Pārskatu komanda ieguva elastību plānošanā ar pietiekamu rezerves laiku atkārtotām darbināšanas reizēm, ja nepieciešams. Datu bāzes resursu patēriņš pārskatu veidošanas laikā samazinājās par 70%, novēršot ietekmi uz vienlaicīgām operācijām. Ātrākais apgrozījums ļāva atbilstības komandai pārskatīt un iesniegt pārskatus agrāk dienā, samazinot regulējumu iesniegšanas risku.

Ārpus tūlītējiem laika ietaupījumiem, pārstrukturētā arhitektūra pozicionēja iestādi nākotnes izaugsmei. Modulārais dizains padarīja vienkāršu pievienot jaunas SFTR prasības, attīstoties regulējumiem, un uzlabotā veiktspēja nozīmēja, ka sistēma varēja apstrādāt ievērojami lielākus transakciju apjomus bez degradācijas.

Operāciju komanda ziņoja par ievērojamu uzraudzības piepūles samazinājumu, jo uzticamais apakš-divminūšu apstrādes laiks novērsa nepieciešamību pēc pastāvīgas uzraudzības. Atbilstības komanda ieguva pārliecību par automatizētā procesa konsekvenci un precizitāti.

Izmantotas Tehnoloģijas

SQL Server 2019 T-SQL Indeksēti Skati Filtrēti Indeksi Vaicājumu Veiktspējas Uzlabošana C# Integrācija

Šis gadījuma izpēte demonstrē tipiskus rezultātus no mūsu SQL Server veiktspējas optimizācijas projektiem. Lai gan konkrētas tehnoloģijas un pieejas atšķiras atkarībā no projekta, metodoloģija paliek konsekventa: rūpīga analīze, stratēģiska optimizācija un validācija pret biznesa prasībām.

Ir Līdzīgs Izaicinājums?

Apspriežam, kā mēs varam optimizēt jūsu sistēmas un automatizēt darba procesus.

Rezervēt Bezmaksas Konsultāciju