You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-24 - 10:45

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Wed Jun 24, 2026 00:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
13966991058,77cyclictest0-21swapper/023:35:200
1396699841,27cyclictest16579-21ntpq22:15:330
1396699812,26cyclictest6796-21latency_hist20:20:070
215082780,2sleep30-21swapper/323:36:243
1396999785,37cyclictest8050irq/56-dwc_otg_20:47:493
13966997828,36cyclictest8050irq/56-dwc_otg_20:40:060
1396699782,17cyclictest12044-21ssh21:32:060
13966997821,4cyclictest15333-21apt-get23:30:170
162572760,5sleep01396699cyclictest21:37:000
213972750,5sleep11396799cyclictest22:20:371
1396699749,15cyclictest0-21swapper/023:52:490
13969997314,16cyclictest7950irq/56-dwc_otg_00:15:183
1396799735,18cyclictest7850irq/56-dwc_otg19:45:181
13966997315,4cyclictest5875-21runrttasks23:55:590
13966997217,3cyclictest0-21swapper/019:10:270
13966997213,5cyclictest7950irq/56-dwc_otg_22:30:070
13966997213,5cyclictest7950irq/56-dwc_otg_22:30:070
1396699713,19cyclictest0-21swapper/022:30:270
1396899702,20cyclictest22072-21ssh23:00:172
1396699703,20cyclictest0-21swapper/021:55:390
1396699701,17cyclictest0-21swapper/022:35:510
13966996916,7cyclictest0-21swapper/021:00:190
1396699681,16cyclictest0-21swapper/000:16:420
1396699671,15cyclictest0-21swapper/021:25:370
13966996710,17cyclictest0-21swapper/022:47:240
13966996710,17cyclictest0-21swapper/022:47:240
1396699670,14cyclictest6718-21ls00:35:290
39592660,2sleep10-21swapper/122:39:051
1396699666,54cyclictest0-21swapper/020:30:220
1396699666,24cyclictest25683-21ssh00:20:210
1396699664,14cyclictest1731-21/usr/sbin/munin00:30:260
13966996624,4cyclictest7950irq/56-dwc_otg_22:21:230
1396699662,19cyclictest0-21swapper/021:50:500
13966996612,46cyclictest0-21swapper/023:10:380
13966996611,2cyclictest0-21swapper/022:10:080
13966996611,2cyclictest0-21swapper/022:10:080
116882660,2sleep10-21swapper/121:31:291
1396799657,10cyclictest7850irq/56-dwc_otg00:30:211
13966996520,4cyclictest8050irq/56-dwc_otg_22:44:300
1396699651,15cyclictest2678-21ssh21:20:410
13966996511,11cyclictest0-21swapper/023:18:510
251662640,1sleep30-21swapper/321:10:183
251662640,1sleep30-21swapper/321:10:183
1396999644,28cyclictest0-21swapper/300:25:193
1396799647,5cyclictest0-21swapper/122:05:171
1396799647,5cyclictest0-21swapper/122:05:171
13966996436,5cyclictest7950irq/56-dwc_otg_21:20:060
1396699641,14cyclictest0-21swapper/023:22:240
1396699641,12cyclictest0-21swapper/022:53:240
28572630,2sleep20-21swapper/223:15:252
1396699634,20cyclictest26734-21ssh21:10:590
1396699634,20cyclictest26734-21ssh21:10:590
1396699632,19cyclictest0-21swapper/020:05:520
1396699632,13cyclictest0-21swapper/022:10:340
1396699631,6cyclictest18171-21ls00:10:330
1396699631,6cyclictest18171-21ls00:10:330
13966996314,9cyclictest0-21swapper/022:01:030
1396699631,19cyclictest0-21swapper/023:41:410
13966996310,15cyclictest0-21swapper/021:43:470
1396999628,24cyclictest14235-21fschecks_count19:10:233
1396699628,11cyclictest0-21swapper/020:20:300
13966996230,8cyclictest30092-21sh19:55:070
13966996223,21cyclictest0-21swapper/019:15:180
1396699622,25cyclictest0-21swapper/019:35:080
1396699622,19cyclictest0-21swapper/019:48:590
13966996217,5cyclictest0-21swapper/022:58:510
13966996215,12cyclictest0-21swapper/023:01:420
1396699621,14cyclictest0-21swapper/023:25:470
1396699612,22cyclictest0-21swapper/019:40:410
13966996030,3cyclictest0-21swapper/020:25:170
13966996010,9cyclictest0-21swapper/019:57:250
13966996010,9cyclictest0-21swapper/019:57:250
1396699592,17cyclictest0-21swapper/021:47:000
1396699591,21cyclictest0-21swapper/023:45:140
1396699591,13cyclictest24843-21diskmemload00:25:470
1396699591,11cyclictest0-21swapper/000:01:510
1396699589,10cyclictest0-21swapper/021:06:070
13966995814,2cyclictest0-21swapper/020:40:280
13966995713,4cyclictest125-21systemd-journal00:06:450
299902560,2sleep20-21swapper/221:15:282
1396999564,17cyclictest2446-21sh23:15:193
1396799566,20cyclictest0-21swapper/119:20:141
13966995617,19cyclictest23585-21uname19:35:270
13966995614,8cyclictest0-21swapper/020:57:460
13966995512,10cyclictest0-21swapper/020:14:250
1396999544,25cyclictest29470-21ssh21:15:203
1396799541,13cyclictest0-21swapper/119:35:191
1396699526,43cyclictest0-21swapper/020:50:220
1396699521,26cyclictest855-21grep20:00:450
13966995123,3cyclictest7950irq/56-dwc_otg_23:09:300
1396999494,19cyclictest8050irq/56-dwc_otg_22:50:083
1396999494,19cyclictest8050irq/56-dwc_otg_22:50:083
13969994915,22cyclictest32503-21ssh23:50:183
13969994910,12cyclictest16874-21sed00:10:083
1396799495,14cyclictest0-21swapper/123:00:171
1396799492,8cyclictest7950irq/56-dwc_otg_20:20:191
149462480,2sleep214947-21/usr/sbin/munin20:40:302
1396699488,22cyclictest0-21swapper/020:50:070
13966994838,2cyclictest0-21swapper/019:20:140
136342484,36sleep00-21swapper/019:09:190
1396999475,25cyclictest8050irq/56-dwc_otg_23:47:213
1396999475,10cyclictest3011-21ssh22:00:193
1396999474,30cyclictest16473-21rm22:53:233
1396999472,8cyclictest7950irq/56-dwc_otg_20:55:203
13969994713,17cyclictest2243-21/usr/sbin/munin00:30:273
1396899473,5cyclictest0-21swapper/219:30:182
1396799478,24cyclictest0-21swapper/119:55:201
1396799478,24cyclictest0-21swapper/119:55:201
1396799477,24cyclictest19728-21ssh23:35:201
1396799476,25cyclictest0-21swapper/121:50:201
144092460,3sleep20-21swapper/200:05:582
1396999468,24cyclictest0-21swapper/320:35:123
1396999467,12cyclictest31981-21latency_hist20:00:083
1396999467,12cyclictest31981-21latency_hist20:00:083
1396799467,26cyclictest0-21swapper/123:40:201
1396799467,25cyclictest0-21swapper/100:35:201
1396999457,24cyclictest0-21swapper/322:10:193
1396999457,23cyclictest0-21swapper/321:05:213
1396999457,23cyclictest0-21swapper/320:25:203
1396999457,23cyclictest0-21swapper/320:10:213
1396999454,8cyclictest0-21swapper/323:30:183
13969994525,5cyclictest13773-21sh21:35:073
51132440,3sleep20-21swapper/223:55:312
203612440,2sleep10-21swapper/121:41:441
1396999446,23cyclictest0-21swapper/319:30:203
13969994415,15cyclictest8050irq/56-dwc_otg_22:21:183
1396799447,22cyclictest0-21swapper/120:30:221
19882430,2sleep30-21swapper/321:58:573
1396999438,11cyclictest29210-21ssh21:52:163
1396999437,24cyclictest0-21swapper/320:15:183
1396999437,22cyclictest0-21swapper/320:05:203
1396999437,22cyclictest0-21swapper/319:50:203
13969994315,16cyclictest8050irq/56-dwc_otg_21:20:353
13969994310,19cyclictest8050irq/56-dwc_otg_22:15:333
1396899437,5cyclictest7850irq/56-dwc_otg20:05:342
1396899432,20cyclictest7850irq/56-dwc_otg22:05:172
1396899432,20cyclictest7850irq/56-dwc_otg22:05:172
1396799438,21cyclictest0-21swapper/121:45:211
1396799437,26cyclictest0-21swapper/121:00:201
1396699436,22cyclictest0-21swapper/019:25:220
1396999424,26cyclictest23999-21sh23:01:373
13969994227,4cyclictest8050irq/56-dwc_otg_23:21:383
13969994211,11cyclictest30280-21pluginstate23:10:073
1396799423,12cyclictest7950irq/56-dwc_otg_21:15:351
13967994221,6cyclictest8870-21latency_hist22:45:071
1396799421,3cyclictest7850irq/56-dwc_otg00:15:201
138342420,2sleep20-21swapper/223:28:062
1396999417,22cyclictest0-21swapper/319:45:203
1396999417,21cyclictest17476-21ssh21:39:093
1396999417,19cyclictest9276-21sh00:38:593
1396999413,17cyclictest8050irq/56-dwc_otg_23:56:173
13969994118,3cyclictest7950irq/56-dwc_otg_22:27:063
13969994118,3cyclictest7950irq/56-dwc_otg_22:27:063
13969994114,11cyclictest8050irq/56-dwc_otg_22:06:473
13969994114,11cyclictest8050irq/56-dwc_otg_22:06:473
13969994113,8cyclictest25840-21ls19:40:323
1396799412,31cyclictest0-21swapper/122:28:571
1396799412,31cyclictest0-21swapper/122:28:571
1396999409,11cyclictest3905-21ssh22:38:593
13969994014,13cyclictest8050irq/56-dwc_otg_23:10:323
13969994014,10cyclictest7950irq/56-dwc_otg_23:40:273
13969994012,6cyclictest381ktimersoftd/322:30:203
13969994011,22cyclictest24731-21ssh21:46:543
1396799403,23cyclictest0-21swapper/122:30:201
1396999399,16cyclictest20035-21ssh21:41:093
1396999395,19cyclictest19334-21ssh22:55:553
1396899391,16cyclictest7950irq/56-dwc_otg_23:30:352
1396799398,5cyclictest7850irq/56-dwc_otg21:10:341
1396799398,5cyclictest7850irq/56-dwc_otg21:10:341
1396799397,22cyclictest0-21swapper/119:15:201
13967993922,7cyclictest30400-21latency_hist23:10:081
13967993921,5cyclictest32173-21sh23:50:071
1396999387,14cyclictest19827-21ssh00:13:003
1396999387,14cyclictest19827-21ssh00:13:003
1396999386,21cyclictest9522-21awk21:30:073
1396999383,12cyclictest29165-21taskset00:24:253
1396999381,22cyclictest11041-21ls20:30:283
1396899386,23cyclictest0-21swapper/200:30:212
1396899386,18cyclictest0-21swapper/200:10:192
1396899386,18cyclictest0-21swapper/200:10:192
13968993819,5cyclictest14147-21sh21:35:202
13967993818,5cyclictest1155650wget22:10:201
1396799381,28cyclictest19749-21cut19:25:251
326502370,2sleep10-21swapper/123:11:501
314242371,33sleep231432-21ssh22:33:032
1396999379,11cyclictest10703-21ssh00:01:583
1396999376,11cyclictest8605-21ssh22:44:453
13969993710,11cyclictest13374-21ssh23:27:183
1396899375,6cyclictest7850irq/56-dwc_otg23:50:362
1396899372,25cyclictest8050irq/56-dwc_otg_20:10:182
13968993718,4cyclictest28467-21latency_hist22:30:082
13968993718,4cyclictest28467-21latency_hist22:30:082
1396799377,13cyclictest8050irq/56-dwc_otg_19:30:201
1396799374,6cyclictest7850irq/56-dwc_otg21:35:201
1396799374,15cyclictest8050irq/56-dwc_otg_00:10:231
1396799374,15cyclictest8050irq/56-dwc_otg_00:10:231
1396799371,27cyclictest15696-21ls19:15:081
1396999368,11cyclictest8050irq/56-dwc_otg_19:35:283
1396999368,11cyclictest22156-21ntpq21:00:293
1396899362,3cyclictest8050irq/56-dwc_otg_21:40:312
1396899361,9cyclictest22565-21unixbench_multi21:00:352
13968993613,7cyclictest31366-21ssh23:10:312
1396899361,22cyclictest23479-21ls21:05:232
1396799367,14cyclictest8050irq/56-dwc_otg_21:30:071
1396799366,21cyclictest8050irq/56-dwc_otg_22:58:591
1396799364,17cyclictest23-21ksoftirqd/123:15:321
1396799362,11cyclictest7850irq/56-dwc_otg20:10:181
13967993612,15cyclictest0-21swapper/123:30:191
44842350,2sleep10-21swapper/122:00:521
1396999354,4cyclictest0-21swapper/320:50:203
1396999352,3cyclictest8050irq/56-dwc_otg_20:40:193
13969993512,14cyclictest9812chrt20:01:473
1396899357,24cyclictest0-21swapper/220:45:212
1396899351,24cyclictest19983-21ssh23:35:232
1396799358,5cyclictest7950irq/56-dwc_otg_23:50:251
1396799356,17cyclictest0-21swapper/122:45:141
1396799356,17cyclictest0-21swapper/122:45:141
13967993518,5cyclictest24843-21diskmemload21:20:331
1396799351,6cyclictest25965-21ssh00:20:251
1396799351,25cyclictest14761-21ls20:40:271
280272340,2sleep20-21swapper/200:22:252
1396999347,15cyclictest0-21swapper/319:20:133
1396999345,13cyclictest6993-21wget20:20:223
1396899348,24cyclictest0-21swapper/219:40:202
1396899348,21cyclictest8742-21runrttasks20:25:172
1396899347,25cyclictest0-21swapper/220:00:212
1396899347,23cyclictest0-21swapper/221:25:212
1396899347,23cyclictest0-21swapper/220:35:212
1396899347,21cyclictest0-21swapper/220:15:182
13968993416,5cyclictest31-21ksoftirqd/221:35:072
1396899341,5cyclictest9649-21fschecks_time22:45:252
1396899341,5cyclictest9649-21fschecks_time22:45:252
1396899341,12cyclictest2392850ssh23:40:142
13968993410,6cyclictest30722-21sh21:54:552
1396799346,3cyclictest0-21swapper/123:27:071
1396799346,13cyclictest7850irq/56-dwc_otg00:25:211
1396799342,9cyclictest31346-21chrt21:55:251
13967993414,5cyclictest727-21runrttasks23:21:531
13969993318,8cyclictest8050irq/56-dwc_otg_19:15:463
1396899337,5cyclictest8050irq/56-dwc_otg_22:35:212
1396899332,16cyclictest0-21swapper/220:20:242
1396899331,5cyclictest26595-21df_inode23:05:232
1396899331,22cyclictest21077-21latency_hist19:30:072
1396799335,4cyclictest0-21swapper/123:55:281
1396799331,22cyclictest25169-21uniq19:40:231
1396799331,19cyclictest0-21swapper/122:53:031
13967993310,7cyclictest23-21ksoftirqd/122:15:381
1396899329,4cyclictest0-21swapper/222:18:392
1396899329,4cyclictest0-21swapper/200:18:032
1396899327,5cyclictest7950irq/56-dwc_otg_20:55:232
1396899322,14cyclictest7850irq/56-dwc_otg19:15:212
1396899321,6cyclictest7218-21unixbench-2d00:35:352
13968993215,9cyclictest727-21runrttasks21:46:402
1396899321,18cyclictest2848150ssh23:45:232
13968993211,6cyclictest301ktimersoftd/221:58:472
1396799322,19cyclictest0-21swapper/120:03:531
13967993219,4cyclictest24843-21diskmemload00:00:411
1396799321,6cyclictest0-21swapper/120:45:201
1396799321,22cyclictest28862-21uniq19:50:241
1396799321,21cyclictest18218-21idleruntime20:50:261
127102325,15sleep212802-21nfs4_client19:05:292
46742310,1sleep20-21swapper/221:24:102
1396999317,3cyclictest0-21swapper/319:29:323
1396899318,12cyclictest0-21swapper/222:50:262
1396899317,14cyclictest0-21swapper/223:20:132
1396899315,5cyclictest7850irq/56-dwc_otg19:50:232
1396899313,5cyclictest0-21swapper/221:15:082
1396899313,5cyclictest0-21swapper/221:15:082
1396899313,14cyclictest7950irq/56-dwc_otg_20:55:072
13968993124,5cyclictest31-21ksoftirqd/200:05:082
13968993124,5cyclictest29-21rcuc/222:20:192
1396899312,19cyclictest0-21swapper/200:27:242
13968993113,11cyclictest13193-21sh22:11:122
13968993111,12cyclictest0-21swapper/222:03:582
1396799317,15cyclictest0-21swapper/100:05:251
1396799317,14cyclictest0-21swapper/120:35:131
1396899309,3cyclictest0-21swapper/222:41:332
1396899306,14cyclictest0-21swapper/222:55:212
1396799304,6cyclictest7950irq/56-dwc_otg_21:10:081
1396799304,13cyclictest8050irq/56-dwc_otg_20:06:011
1396899291,6cyclictest26961-21fschecks_count19:45:242
1396799291,3cyclictest0-21swapper/121:00:081
1396799291,24cyclictest9257-21latency20:25:301
130022294,16sleep313125-21ls19:05:343
1396899286,6cyclictest7850irq/56-dwc_otg19:35:252
1396899285,6cyclictest7950irq/56-dwc_otg_20:30:362
1396899281,7cyclictest30587-21fschecks_count19:55:232
1396899281,7cyclictest30587-21fschecks_count19:55:232
1396899281,7cyclictest18272-21/usr/sbin/munin19:20:272
134492283,16sleep10-21swapper/119:07:021
1396899273,4cyclictest7850irq/56-dwc_otg19:10:292
1396799277,4cyclictest7850irq/56-dwc_otg20:15:151
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional