You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-19 - 22:19

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Sun Jul 19, 2026 12:43:42)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1997324400,9sleep339-21ksoftirqd/307:05:353
1997324400,9sleep339-21ksoftirqd/307:05:353
2880921630,2sleep00-21swapper/009:45:210
215829912720,83cyclictest1801-21kworker/u8:110:24:550
21582991264,101cyclictest0-21swapper/011:40:410
21582991219,74cyclictest0-21swapper/010:45:460
21582991174,86cyclictest0-21swapper/010:05:430
21582991133,85cyclictest987-21cut09:10:390
21582991113,89cyclictest0-21swapper/009:40:380
21582991104,89cyclictest0-21swapper/010:00:510
21582991104,89cyclictest0-21swapper/010:00:510
21582991103,90cyclictest0-21swapper/010:30:390
21582991085,81cyclictest0-21swapper/012:25:430
21582991085,81cyclictest0-21swapper/012:25:430
21582991063,85cyclictest23808-21sed11:35:490
21582991039,70cyclictest0-21swapper/011:25:380
215849910239,26cyclictest13708-21ssh10:05:432
21582991023,74cyclictest0-21swapper/011:10:470
21583991004,27cyclictest11132-21ls11:20:481
21582991005,74cyclictest0-21swapper/010:25:430
215829910024,70cyclictest5469-21awk09:55:440
96962980,2sleep00-21swapper/011:20:190
72922960,2sleep013-21rcuc/012:35:320
21584999536,21cyclictest7850irq/56-dwc_otg11:25:392
21585999411,61cyclictest11101-21runrttasks11:20:483
21582999341,30cyclictest101ktimersoftd/011:20:480
21584999246,23cyclictest750-21snmpd10:24:562
21582999012,59cyclictest0-21swapper/010:55:350
131572880,2sleep00-21swapper/009:25:400
21583998631,24cyclictest221ktimersoftd/111:25:401
21584998340,20cyclictest7850irq/56-dwc_otg09:10:482
21583998122,11cyclictest940-21tune2fs09:10:381
2158299816,63cyclictest16771-21aten_rbpower_cu09:30:350
2158299816,63cyclictest16771-21aten_rbpower_cu09:30:350
2158299816,22cyclictest0-21swapper/012:15:340
21583998026,38cyclictest221ktimersoftd/109:45:381
2158299806,56cyclictest30715-21chrt07:35:260
21584997832,20cyclictest0-21swapper/212:25:452
21584997832,20cyclictest0-21swapper/212:25:452
21583997815,24cyclictest13716-21ntp_states10:05:441
33622770,3sleep20-21swapper/210:32:222
21583997729,18cyclictest221ktimersoftd/110:24:551
21585997627,25cyclictest381ktimersoftd/310:00:513
21585997627,25cyclictest381ktimersoftd/310:00:513
21584997632,28cyclictest25277-21if_eth009:40:392
216932750,4sleep339-21ksoftirqd/309:35:503
21585997530,13cyclictest7950irq/56-dwc_otg_11:25:393
21583997525,26cyclictest221ktimersoftd/110:30:381
21584997444,24cyclictest29164-21ssh09:45:382
21584997443,24cyclictest11203-21timerwakeupswit11:20:502
21583997411,42cyclictest23660-21ssh11:35:471
21584997342,25cyclictest23824-21/usr/sbin/munin11:35:502
21585997216,27cyclictest37-21rcuc/310:05:453
21584997243,23cyclictest5467-21ssh09:55:442
21584997240,26cyclictest13961-21fschecks_time10:45:382
2158299727,56cyclictest0-21swapper/012:10:330
172072720,2sleep10-21swapper/109:30:401
172072720,2sleep10-21swapper/109:30:401
21584997145,21cyclictest29517-21/usr/sbin/munin10:25:442
21584997117,48cyclictest0-21swapper/210:55:352
2158599702,38cyclictest13943-21grep10:45:383
21583997017,36cyclictest0-21swapper/110:45:451
2158299702,53cyclictest0-21swapper/010:35:390
21585996913,28cyclictest7950irq/56-dwc_otg_12:25:443
21585996913,28cyclictest7950irq/56-dwc_otg_12:25:443
21584996938,26cyclictest27308-21rm11:40:412
2158299698,49cyclictest26422-21vmstat07:20:500
2158299698,44cyclictest7944-21grep11:55:490
2158299698,44cyclictest7944-21grep11:55:490
21584996816,29cyclictest8050irq/56-dwc_otg_10:00:522
21584996816,29cyclictest8050irq/56-dwc_otg_10:00:522
2158299685,52cyclictest2639-21aten_rbpower_po11:50:360
298742670,3sleep10-21swapper/111:44:161
21584996739,22cyclictest2788-21ssh11:10:462
2158299678,49cyclictest0-21swapper/009:35:540
2158299676,49cyclictest0-21swapper/009:16:530
2158299674,41cyclictest0-21swapper/008:30:320
2158299672,51cyclictest19362-21grep11:30:480
2158399666,41cyclictest7950irq/56-dwc_otg_12:25:461
2158399666,41cyclictest7950irq/56-dwc_otg_12:25:461
2158299669,42cyclictest0-21swapper/008:55:210
2158299669,42cyclictest0-21swapper/008:55:210
2158299668,44cyclictest8686-21/usr/sbin/munin08:00:480
2158299667,50cyclictest29396-21aten_rbpower_po09:00:340
21584996521,23cyclictest4597-21ssh09:55:212
2158299651,52cyclictest0-21swapper/009:24:570
148602650,1sleep10-21swapper/112:05:251
2158599649,31cyclictest2903-21ssh11:10:483
21585996424,19cyclictest577-21/usr/sbin/munin09:10:413
2158599642,36cyclictest7950irq/56-dwc_otg_09:40:383
2158399642,41cyclictest2797-21ssh11:10:461
2158299644,48cyclictest1801-21kworker/u8:112:30:410
2158299641,19cyclictest0-21swapper/011:00:320
2158599634,41cyclictest7850irq/56-dwc_otg09:45:383
21585996321,20cyclictest7850irq/56-dwc_otg11:40:433
21585996319,11cyclictest7950irq/56-dwc_otg_10:55:363
21584996324,12cyclictest17260-21sh09:30:412
21584996324,12cyclictest17260-21sh09:30:412
2158399633,24cyclictest0-21swapper/110:25:441
21585996211,23cyclictest7950irq/56-dwc_otg_10:25:453
21584996226,10cyclictest6951-21users07:55:502
21584996225,16cyclictest22864-21munin-run12:15:202
2158299626,46cyclictest11823-21ls12:00:470
2158299623,49cyclictest0-21swapper/008:45:320
2158599614,10cyclictest23800-21ssh11:35:503
2158499613,7cyclictest7850irq/56-dwc_otg09:05:322
21584996136,13cyclictest15296-21ssh09:28:162
21584996126,16cyclictest22126-21ssh09:35:572
2158399612,12cyclictest8050irq/56-dwc_otg_09:40:321
21583996116,23cyclictest221ktimersoftd/110:00:501
21583996116,23cyclictest221ktimersoftd/110:00:501
2158299617,44cyclictest0-21swapper/012:23:470
21582996120,37cyclictest101ktimersoftd/010:40:320
2158599607,27cyclictest7850irq/56-dwc_otg10:24:553
2158599603,25cyclictest7850irq/56-dwc_otg10:30:403
2158299607,42cyclictest0-21swapper/007:42:240
21582996029,15cyclictest8050irq/56-dwc_otg_11:45:470
2158299602,44cyclictest0-21swapper/007:15:320
2158299598,42cyclictest0-21swapper/009:54:540
2158299597,43cyclictest0-21swapper/011:05:460
2158299596,40cyclictest0-21swapper/007:55:470
2158299593,45cyclictest21644-21aten_rbpower_cu07:10:350
21584995821,10cyclictest24108-21ssh12:15:462
2158399584,32cyclictest0-21swapper/110:55:331
2158299586,40cyclictest0-21swapper/010:54:460
21582995838,4cyclictest4135-21fschecks_count07:50:380
21582995838,4cyclictest4135-21fschecks_count07:50:380
21582995811,26cyclictest2907-21switchtime07:45:470
21582995810,36cyclictest18574-21ssh10:11:120
21584995725,17cyclictest9672-21ssh12:37:462
21584995720,15cyclictest26699-21ntpq11:00:432
2158299571,53cyclictest23255-21head08:40:500
172882570,2sleep20-21swapper/212:07:442
2158399567,28cyclictest0-21swapper/112:10:331
21583995610,13cyclictest5503-21ssh09:55:451
2158299569,37cyclictest22845-21rm10:16:280
2158299566,34cyclictest16919-21sh12:07:030
2158299561,47cyclictest16253-21chrt08:22:510
2158299561,29cyclictest0-21swapper/008:15:320
21584995519,11cyclictest7950irq/56-dwc_otg_09:00:372
2158299551,43cyclictest21741-21taskset08:38:440
141202550,2sleep20-21swapper/212:04:292
21584995425,11cyclictest21008-21ssh10:54:302
21584995421,19cyclictest5413-21ssh12:32:322
21584995418,19cyclictest8050irq/56-dwc_otg_10:11:162
2158299544,37cyclictest0-21swapper/008:08:580
2158299542,43cyclictest0-21swapper/009:05:450
21584995327,12cyclictest22872-21ssh10:16:302
21584995320,11cyclictest2145-21rm11:50:172
21584995319,13cyclictest2982-21cat11:50:402
212612533,43sleep00-21swapper/007:09:420
212612533,43sleep00-21swapper/007:09:420
21584995223,14cyclictest9538-21ssh11:20:012
21584995223,11cyclictest0-21swapper/211:30:382
21584995222,13cyclictest11937-21ssh10:42:572
21583995211,30cyclictest0-21swapper/108:35:331
2158399521,11cyclictest0-21swapper/111:00:321
21582995215,28cyclictest101ktimersoftd/008:25:400
2158499513,11cyclictest7850irq/56-dwc_otg07:50:322
2158499513,11cyclictest7850irq/56-dwc_otg07:50:322
21584995123,18cyclictest9704-21ssh11:58:592
21584995123,18cyclictest9704-21ssh11:58:592
21584995122,11cyclictest6077-21ntp_kernel_pll_10:35:422
21584995113,25cyclictest8050irq/56-dwc_otg_12:21:022
2158399515,10cyclictest0-21swapper/112:20:311
2158499508,28cyclictest0-21swapper/208:15:272
21584995025,12cyclictest10801-21chrt08:08:572
21584995024,11cyclictest19923-21chrt08:33:402
2158299503,28cyclictest0-21swapper/008:10:490
21585994911,13cyclictest7850irq/56-dwc_otg09:55:453
2158499494,8cyclictest0-21swapper/208:35:332
21584994922,11cyclictest31294-21ssh11:05:492
21584994921,7cyclictest23416-21apt-get07:15:342
21584994911,25cyclictest12295-21sh09:25:122
2158299498,32cyclictest30309-21taskset07:34:260
21582994917,20cyclictest0-21swapper/008:55:350
21584994823,17cyclictest28455-21sshd07:28:492
21584994822,11cyclictest32213-21chrt07:39:262
21584994818,13cyclictest16744-21wget08:25:352
2158399482,38cyclictest31036-21ls11:45:361
2158299481,29cyclictest9650irq/80-mmc007:30:200
21584994716,11cyclictest0-21swapper/208:22:542
2158399471,29cyclictest0-21swapper/107:55:271
21583994711,11cyclictest0-21swapper/109:40:201
154792470,2sleep30-21swapper/309:28:373
21584994617,11cyclictest21600-21munin-node07:10:312
21584994615,15cyclictest8050irq/56-dwc_otg_09:17:012
21584994614,23cyclictest23581-21seq08:44:132
21585994517,7cyclictest1033-21smartpower07:40:463
21584994535,7cyclictest11176-21apt-get08:10:332
2158399457,24cyclictest0-21swapper/108:15:261
2158399456,10cyclictest0-21swapper/109:05:321
21583994511,29cyclictest0-21swapper/109:20:341
21584994434,8cyclictest28836-21apt-get07:30:342
21584994421,12cyclictest27036-21chrt08:52:202
21584994421,12cyclictest27036-21chrt08:52:202
21584994419,12cyclictest26241-21/usr/sbin/munin07:20:482
21584994415,11cyclictest8050irq/56-dwc_otg_07:44:512
2158399448,30cyclictest0-21swapper/109:25:341
2158399447,25cyclictest0-21swapper/112:30:351
2158399447,25cyclictest0-21swapper/112:00:331
2158399445,26cyclictest5918-21ssh11:15:331
2158499437,24cyclictest0-21swapper/208:45:342
2158399436,24cyclictest0-21swapper/108:30:341
21583994325,9cyclictest221ktimersoftd/111:30:501
2158399431,3cyclictest0-21swapper/109:00:201
2158599424,6cyclictest8050irq/56-dwc_otg_07:30:333
21584994225,13cyclictest8127-21memory08:00:412
2158399427,6cyclictest23-21ksoftirqd/110:35:401
2158399425,21cyclictest0-21swapper/108:50:311
2158399425,21cyclictest0-21swapper/108:50:311
2158599411,23cyclictest0-21swapper/312:31:583
21584994116,15cyclictest28878-21taskset08:57:472
21583994121,9cyclictest221ktimersoftd/109:17:191
21583994120,12cyclictest221ktimersoftd/107:15:361
2158599407,23cyclictest581-21ssh09:50:323
2158599401,20cyclictest4930-21cut09:15:393
21584994026,11cyclictest2666-21sed07:45:432
2158399408,16cyclictest0-21swapper/107:40:261
2158399406,25cyclictest0-21swapper/108:20:331
2158399405,29cyclictest22131-21runrttasks08:40:341
2158399405,13cyclictest21-21rcuc/107:50:331
2158399405,13cyclictest21-21rcuc/107:50:331
2158399402,7cyclictest24992-21munin-run10:20:201
21583994027,4cyclictest221ktimersoftd/109:52:201
21583994022,4cyclictest12975-21grep08:15:211
2158399401,5cyclictest0-21swapper/111:50:331
2158599392,21cyclictest7850irq/56-dwc_otg11:45:383
2158599391,19cyclictest8472-21grep12:35:473
2158399397,20cyclictest23-21ksoftirqd/112:15:481
2158399396,18cyclictest21-21rcuc/110:52:011
2158399391,28cyclictest0-21swapper/107:45:381
2158599386,14cyclictest7950irq/56-dwc_otg_07:20:383
21585993830,5cyclictest381ktimersoftd/308:10:313
2158399389,18cyclictest0-21swapper/107:35:261
2158399385,23cyclictest221ktimersoftd/108:25:301
2158399384,22cyclictest221ktimersoftd/107:10:401
2158599376,19cyclictest8050irq/56-dwc_otg_07:15:203
21585993717,5cyclictest2125950wget10:15:333
21585993714,10cyclictest6107-21cat11:15:353
2158599371,21cyclictest2297-21cut07:45:383
2158399379,15cyclictest0-21swapper/108:45:341
2158399378,4cyclictest0-21swapper/110:10:451
2158399376,17cyclictest0-21swapper/108:00:341
49622360,2sleep30-21swapper/311:52:513
2158599369,15cyclictest0-21swapper/309:30:343
2158599369,15cyclictest0-21swapper/309:30:343
2158599366,6cyclictest7850irq/56-dwc_otg11:30:343
2158599366,14cyclictest7950irq/56-dwc_otg_07:40:203
2158599361,25cyclictest17263-21ls10:10:353
2158599361,22cyclictest18243-21ls10:50:403
2158399369,8cyclictest21-21rcuc/109:00:341
2158399367,6cyclictest8050irq/56-dwc_otg_07:20:491
2158599357,13cyclictest8050irq/56-dwc_otg_12:00:413
2158599356,14cyclictest7950irq/56-dwc_otg_11:00:393
2158599354,17cyclictest8768-21aten_rbpower_en09:20:343
2158599354,17cyclictest8050irq/56-dwc_otg_09:00:213
2158399355,9cyclictest221ktimersoftd/112:35:371
2158399354,6cyclictest21-21rcuc/110:44:151
21583993514,5cyclictest28693-21latency_hist07:30:201
21583993510,5cyclictest0-21swapper/111:55:441
21583993510,5cyclictest0-21swapper/111:55:441
2158599346,5cyclictest7850irq/56-dwc_otg12:20:453
21585993413,11cyclictest6717-21timerandwakeup07:55:483
2158599340,25cyclictest13070-21/usr/sbin/munin08:15:483
21583993416,10cyclictest8050irq/56-dwc_otg_11:05:331
2158599335,11cyclictest0-21swapper/310:37:183
2158599332,13cyclictest0-21swapper/311:05:383
21585993312,8cyclictest0-21swapper/310:43:563
2158599331,25cyclictest23871-21missed_timers12:15:423
2158599331,23cyclictest16950-21uniq08:25:393
2158399333,20cyclictest7850irq/56-dwc_otg07:31:131
2158599322,8cyclictest24571-21grep07:15:493
2158599322,12cyclictest7850irq/56-dwc_otg12:10:443
2158399325,5cyclictest21-21rcuc/108:06:131
2158599317,4cyclictest0-21swapper/311:59:353
2158599317,4cyclictest0-21swapper/311:59:353
2158599316,5cyclictest7950irq/56-dwc_otg_07:55:203
2158599316,5cyclictest7950irq/56-dwc_otg_07:55:203
2158599316,14cyclictest9175-21latency_hist08:05:203
21585993117,11cyclictest0-21swapper/309:00:483
2158599311,5cyclictest32198-21grep09:05:483
2158599311,21cyclictest26599-21switchtime08:50:453
2158599311,21cyclictest26599-21switchtime08:50:453
2158599303,17cyclictest0-21swapper/308:08:123
2158599301,14cyclictest7850irq/56-dwc_otg08:40:403
21585993010,12cyclictest0-21swapper/312:10:183
211782308,15sleep10-21swapper/107:08:381
211782308,15sleep10-21swapper/107:08:381
2158599296,4cyclictest7850irq/56-dwc_otg08:45:343
2158599294,5cyclictest7850irq/56-dwc_otg08:35:203
2158599292,4cyclictest7850irq/56-dwc_otg07:25:453
2158599292,17cyclictest0-21swapper/308:35:363
2158599286,4cyclictest7950irq/56-dwc_otg_08:20:433
197542255,13sleep219767-21apt-get07:05:312
197542255,13sleep219767-21apt-get07:05:312
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional