You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-09-14 - 04:02

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Mon Sep 14, 2026 00:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
322421020,2sleep00-21swapper/023:21:370
114342970,5sleep01228999cyclictest22:52:510
140462910,2sleep10-21swapper/122:16:051
171212840,2sleep00-21swapper/022:20:380
59952790,5sleep31229299cyclictest23:25:393
180322790,2sleep10-21swapper/120:55:371
153312790,2sleep00-21swapper/023:36:110
12290997614,12cyclictest7950irq/56-dwc_otg_20:00:331
1228999759,47cyclictest9-21ksoftirqd/021:15:340
12289997416,10cyclictest7850irq/56-dwc_otg_22:55:310
12291997114,4cyclictest23222-21cut19:40:362
36932700,1sleep00-21swapper/022:43:450
1228999686,60cyclictest0-21swapper/022:00:320
12289996611,10cyclictest0-21swapper/020:20:320
76752650,2sleep20-21swapper/222:48:302
1229199651,4cyclictest7850irq/56-dwc_otg_20:10:362
1229199644,49cyclictest7950irq/56-dwc_otg_20:25:212
86772630,1sleep20-21swapper/222:10:342
86772630,1sleep20-21swapper/222:10:342
1229199637,10cyclictest7950irq/56-dwc_otg_20:50:332
1228999622,48cyclictest0-21swapper/021:25:480
12292996122,14cyclictest21666-21diskstats23:05:383
12292996115,25cyclictest7950irq/56-dwc_otg_20:50:503
1229199611,6cyclictest14100-21/usr/sbin/munin19:15:442
1228999618,41cyclictest0-21swapper/019:45:320
1228999613,35cyclictest0-21swapper/023:10:310
1228999611,40cyclictest2458-21grep00:00:400
1229199609,6cyclictest7950irq/56-dwc_otg_23:20:382
1229199605,8cyclictest27277-21ssh00:30:372
1229199603,4cyclictest0-21swapper/220:05:482
1229199601,44cyclictest7750irq/56-dwc_otg22:22:592
1228999605,43cyclictest9-21ksoftirqd/022:25:430
1228999604,47cyclictest0-21swapper/023:55:210
1228999603,45cyclictest6736-21grep00:05:390
1228999602,40cyclictest0-21swapper/021:30:530
12292995927,19cyclictest10856-21tune2fs00:10:423
12292995924,14cyclictest14306-21/usr/sbin/munin19:15:353
12292995920,18cyclictest15743-21cron20:50:203
12291995916,37cyclictest741-21tail21:20:522
1229199583,5cyclictest16131-21ssh21:40:322
1229199582,12cyclictest0-21swapper/200:05:302
12291995816,39cyclictest22919-21munin-plugin-st19:40:202
12291995816,39cyclictest22771-21seq21:07:562
1229199581,5cyclictest7850irq/56-dwc_otg_20:16:562
1228999588,26cyclictest0-21swapper/023:25:380
12289995837,5cyclictest31467-21grep20:00:500
1228999583,43cyclictest25569-21sort22:30:450
1228999582,44cyclictest0-21swapper/021:54:460
12292995720,19cyclictest6329-21ssh00:05:253
12292995717,22cyclictest19376-21ssh22:23:163
12291995716,36cyclictest14675-21grep23:35:452
1229199571,4cyclictest30719-21ssh23:55:342
1229199571,10cyclictest7950irq/56-dwc_otg_20:45:202
1228999577,7cyclictest0-21swapper/019:15:320
1228999573,44cyclictest0-21swapper/000:22:050
1228999572,46cyclictest0-21swapper/023:45:450
1228999571,46cyclictest32439-21grep20:05:380
1228999571,40cyclictest3419-21modprobe21:25:200
141112560,2sleep30-21swapper/323:35:373
1229299566,21cyclictest7950irq/56-dwc_otg_21:10:263
12292995625,19cyclictest11865-21ssh22:53:383
12292995613,23cyclictest7950irq/56-dwc_otg_20:25:403
1229199562,4cyclictest7950irq/56-dwc_otg_19:10:372
1229199562,12cyclictest7950irq/56-dwc_otg_21:35:372
1229199562,12cyclictest7950irq/56-dwc_otg_21:35:372
1229199561,8cyclictest7950irq/56-dwc_otg_23:45:392
1229199561,6cyclictest30985-21grep23:15:482
1229199561,6cyclictest30985-21grep23:15:482
12291995615,38cyclictest4027-21sh22:05:212
1229199561,2cyclictest0-21swapper/222:34:162
12289995635,5cyclictest21786-21sort23:05:390
12289995634,5cyclictest20665-21grep19:30:490
12289995626,16cyclictest10060-21fschecks_time23:30:380
1228999562,45cyclictest0-21swapper/000:10:420
1228999561,39cyclictest16497-21fschecks_time21:40:380
12292995525,12cyclictest16905-21ntp_states21:40:443
12292995521,23cyclictest4844-21ssh22:45:273
12292995521,20cyclictest7850irq/56-dwc_otg_21:24:003
1229199558,7cyclictest0-21swapper/221:50:332
1229199555,3cyclictest7950irq/56-dwc_otg_23:50:252
1229199553,3cyclictest0-21swapper/223:30:362
1229199552,3cyclictest7950irq/56-dwc_otg_23:28:132
1229199552,10cyclictest7850irq/56-dwc_otg_00:27:472
1229199551,4cyclictest7850irq/56-dwc_otg_22:17:202
1229199551,4cyclictest7850irq/56-dwc_otg_20:25:212
1229199551,3cyclictest0-21swapper/222:45:052
1229199551,3cyclictest0-21swapper/221:45:472
1229199551,3cyclictest0-21swapper/221:26:352
12289995527,17cyclictest0-21swapper/019:35:490
1228999552,35cyclictest0-21swapper/019:40:450
1228999551,47cyclictest0-21swapper/000:25:350
1228999551,46cyclictest0-21swapper/022:06:280
12292995422,20cyclictest27879-21sshd21:54:473
12292995422,17cyclictest24004-21wc19:40:483
12292995422,12cyclictest21025-21ssh23:05:173
12292995417,23cyclictest14501-21chrt21:37:583
12292995417,23cyclictest14501-21chrt21:37:583
1229199544,4cyclictest7750irq/56-dwc_otg22:38:212
1229199544,4cyclictest7750irq/56-dwc_otg22:38:212
1229199542,5cyclictest28196-21irqstats21:15:412
1229199541,6cyclictest11190-21ssh00:10:462
12291995415,4cyclictest8911-21timerandwakeup21:30:482
1229199541,4cyclictest19547-21ntpq00:20:432
1228999547,4cyclictest0-21swapper/000:15:330
12289995438,6cyclictest7850irq/56-dwc_otg_19:55:470
1228999542,41cyclictest0-21swapper/020:55:200
1228999542,41cyclictest0-21swapper/000:30:460
1228999542,39cyclictest0-21swapper/000:36:250
1228999542,37cyclictest6162-21unixbench_singl22:45:490
1228999541,6cyclictest30009-21ps22:35:470
1228999541,6cyclictest30009-21ps22:35:470
1228999541,44cyclictest21438-21aten_rbpower_cu21:05:340
1228999541,38cyclictest9732-21sed22:10:470
1228999541,38cyclictest9732-21sed22:10:470
269572530,2sleep20-21swapper/221:14:422
12292995322,18cyclictest3266-21ssh22:42:593
12292995320,19cyclictest9572-21ps20:30:463
12292995320,13cyclictest32545-21ssh22:00:223
12292995311,28cyclictest22072-21ssh21:46:433
1229199532,5cyclictest7950irq/56-dwc_otg_22:57:192
1229199532,5cyclictest7750irq/56-dwc_otg22:25:502
1229199532,13cyclictest0-21swapper/222:54:282
1229199531,9cyclictest7850irq/56-dwc_otg_22:09:112
1229199531,7cyclictest22606-21unixbench-2d23:05:502
1229199531,4cyclictest17293-21apt-get23:00:342
12291995311,5cyclictest20715-21tail21:00:482
1228999536,38cyclictest18258-21ls23:40:360
1228999534,39cyclictest0-21swapper/023:15:440
1228999534,39cyclictest0-21swapper/023:15:440
12289995334,5cyclictest14466-21fschecks_count20:45:390
1228999532,36cyclictest0-21swapper/020:55:380
1228999531,41cyclictest0-21swapper/021:02:430
12292995223,13cyclictest16452-21sed22:20:203
12292995222,12cyclictest23644-21ssh22:28:323
12292995218,16cyclictest5001-21sed20:20:213
12292995218,12cyclictest22101-21ssh23:45:273
12292995216,23cyclictest21069-21chrt19:35:013
1229199524,3cyclictest7950irq/56-dwc_otg_21:55:482
1229199521,5cyclictest28684-21ssh23:13:592
12291995215,34cyclictest19368-21sh23:40:512
12291995214,36cyclictest26600-21latency_hist19:50:212
1229099527,30cyclictest17969-21ssh23:40:261
1228999522,41cyclictest0-21swapper/021:12:160
1228999522,37cyclictest0-21swapper/020:28:500
1228999521,43cyclictest0-21swapper/021:45:440
1228999521,40cyclictest0-21swapper/019:20:400
1228999521,34cyclictest0-21swapper/022:15:460
12292995122,14cyclictest0-21swapper/300:30:323
12292995117,22cyclictest17833-21ssh00:19:133
12292995117,20cyclictest11872-21rm22:14:413
12292995117,20cyclictest11872-21rm22:14:413
12292995115,15cyclictest27784-21wget21:15:363
12292995114,10cyclictest0-21swapper/322:37:193
12292995114,10cyclictest0-21swapper/322:37:193
1229199512,4cyclictest4585-21sh00:02:392
1229199511,3cyclictest0-21swapper/220:00:202
1228999516,36cyclictest0-21swapper/019:10:400
12289995127,10cyclictest7850irq/56-dwc_otg_21:55:340
1228999511,35cyclictest0-21swapper/020:38:210
1228999511,35cyclictest0-21swapper/020:38:210
1228999511,30cyclictest17772-21tr19:25:330
12292995024,12cyclictest30734-21ssh21:57:283
12292995021,11cyclictest10043-21ssh21:32:223
12292995020,20cyclictest25262-21ssh00:27:433
12292995011,19cyclictest7950irq/56-dwc_otg_23:19:593
12292995011,19cyclictest7950irq/56-dwc_otg_23:19:593
1229199501,3cyclictest7750irq/56-dwc_otg00:40:082
1229199501,10cyclictest0-21swapper/219:24:012
1229099506,4cyclictest0-21swapper/120:20:321
12289995032,3cyclictest0-21swapper/020:40:370
1228999502,35cyclictest0-21swapper/023:55:380
1228999502,35cyclictest0-21swapper/023:00:300
1228999501,35cyclictest0-21swapper/020:30:320
1228999501,33cyclictest13704-21rm21:36:300
1228999501,33cyclictest13704-21rm21:36:300
12292994922,11cyclictest27328-21sed23:50:453
12292994921,11cyclictest28590-21ssh23:13:483
12292994914,22cyclictest0-21swapper/323:30:583
1229199498,4cyclictest0-21swapper/200:18:512
1229199492,3cyclictest0-21swapper/220:39:412
1229199492,3cyclictest0-21swapper/220:39:412
1229199491,3cyclictest7750irq/56-dwc_otg19:54:312
1229199491,3cyclictest7750irq/56-dwc_otg19:54:312
1228999491,37cyclictest0-21swapper/020:18:120
1228999491,22cyclictest0-21swapper/020:10:500
12292994818,19cyclictest20978-21ssh00:22:263
12292994817,7cyclictest32521-21perl20:05:393
12292994814,12cyclictest0-21swapper/300:35:473
12292994814,11cyclictest16594-21ssh22:59:433
1229099487,25cyclictest0-21swapper/100:00:261
1228999482,33cyclictest0-21swapper/019:53:530
1228999482,33cyclictest0-21swapper/019:53:530
12292994724,5cyclictest18115-21aten_rbpower_en23:40:353
12292994723,12cyclictest32620-21ssh23:57:183
12292994717,17cyclictest0-21swapper/323:25:173
12292994716,9cyclictest4303-21ssh00:02:083
12292994716,11cyclictest19601-21awk21:00:313
1229199471,3cyclictest7750irq/56-dwc_otg20:30:572
1229099473,8cyclictest0-21swapper/119:15:321
1229299467,24cyclictest0-21swapper/321:05:333
12292994621,16cyclictest5223-21ssh21:26:073
12292994619,20cyclictest12324-21dpkg19:10:343
12292994619,17cyclictest19010-21seq20:56:013
12292994612,21cyclictest7950irq/56-dwc_otg_22:32:553
1229199461,5cyclictest16203-21systemd-journal20:47:402
1229199461,3cyclictest0-21swapper/219:29:322
1229099467,24cyclictest0-21swapper/120:10:351
12292994516,12cyclictest26166-21taskset19:45:593
12292994512,23cyclictest7950irq/56-dwc_otg_22:06:093
1229199451,5cyclictest19271-21taskset20:59:152
1229199451,3cyclictest7750irq/56-dwc_otg20:00:412
12290994525,13cyclictest27871-21rm23:12:301
1229199441,4cyclictest7850irq/56-dwc_otg_19:30:322
118712443,32sleep00-21swapper/019:08:250
1229299437,22cyclictest0-21swapper/320:40:343
12292994329,9cyclictest5163-21apt-get20:20:323
12292994317,14cyclictest12043-21runrttasks20:39:143
12292994317,14cyclictest12043-21runrttasks20:39:143
12292994313,14cyclictest30243-21sed20:00:203
1229099434,23cyclictest0-21swapper/122:00:321
1229299424,25cyclictest0-21swapper/319:50:343
1229299424,25cyclictest0-21swapper/319:50:343
12292994212,13cyclictest17403-21taskset19:24:183
1229099422,6cyclictest0-21swapper/123:55:291
12290994217,4cyclictest6527-21cut00:05:361
12290994210,12cyclictest31175-21ssh00:35:331
12290994119,10cyclictest3712-21/usr/sbin/munin21:25:401
12292994026,11cyclictest17952-21diskstats19:25:353
1229099404,12cyclictest7950irq/56-dwc_otg_23:00:361
1229099402,10cyclictest0-21swapper/100:15:331
12292993910,13cyclictest1180-21runrttasks20:03:133
1229099399,15cyclictest0-21swapper/121:20:521
1229099395,25cyclictest0-21swapper/121:10:341
12290993914,12cyclictest0-21swapper/100:21:441
103582390,1sleep10-21swapper/120:35:211
1229299381,25cyclictest22917-21latency_hist19:40:213
1229099389,9cyclictest11693-21awk21:35:201
1229099385,21cyclictest26305-21ssh23:50:261
1229099381,4cyclictest29417-21uniq22:35:391
1229099381,4cyclictest29417-21uniq22:35:391
1229099381,21cyclictest16948-21ls22:20:351
12292993722,12cyclictest2706-21head20:10:493
1229099379,7cyclictest7950irq/56-dwc_otg_19:47:281
1229099379,23cyclictest0-21swapper/120:25:331
1229099375,5cyclictest0-21swapper/123:25:341
1229099374,12cyclictest7850irq/56-dwc_otg_19:25:211
12290993726,8cyclictest26232-21ssh21:51:471
12290993724,8cyclictest31527-21ssh21:58:551
12290993722,5cyclictest26755-21rm22:31:401
12290993721,9cyclictest12089-21ssh22:54:031
1229099371,25cyclictest24100-21timerandwakeup19:40:481
1229099371,20cyclictest15957-21ls21:40:211
1229099371,20cyclictest15957-21ls21:40:211
1229099366,6cyclictest7850irq/56-dwc_otg_00:30:501
1229099365,5cyclictest7850irq/56-dwc_otg_21:45:331
1229099362,5cyclictest7950irq/56-dwc_otg_20:50:351
12290993620,7cyclictest22982-21diskmemload00:10:461
12290993616,6cyclictest13498-21fschecks_time22:55:381
12290993613,6cyclictest26749-21/usr/sbin/munin19:50:421
12290993613,6cyclictest26749-21/usr/sbin/munin19:50:421
1229099361,29cyclictest22349-21timerandwakeup21:05:471
12290993611,5cyclictest0-21swapper/123:40:201
324792350,2sleep10-21swapper/123:18:201
324792350,2sleep10-21swapper/123:18:201
1229099359,16cyclictest0-21swapper/120:45:351
1229099354,13cyclictest7950irq/56-dwc_otg_22:45:491
1229099352,22cyclictest23695-21ssh00:25:441
12290993518,4cyclictest10050-21fschecks_time23:30:381
12290993516,4cyclictest0-21swapper/122:25:461
12290993511,6cyclictest1909-21timerwakeupswit22:40:501
1229099347,15cyclictest0-21swapper/120:15:351
1229099345,6cyclictest0-21swapper/121:00:481
1229099343,16cyclictest8131-21latency_hist22:10:211
1229099342,10cyclictest0-21swapper/122:12:261
1229099342,10cyclictest0-21swapper/122:12:261
1229099341,24cyclictest13304-21timerwakeupswit19:10:501
1229099338,6cyclictest7750irq/56-dwc_otg21:15:431
1229099337,11cyclictest25351-21latency_hist23:10:211
1229099333,4cyclictest7850irq/56-dwc_otg_19:35:381
1229099332,14cyclictest7950irq/56-dwc_otg_20:40:411
12290993315,5cyclictest22967-21open_files23:45:451
1229099321,24cyclictest19305-21latency_hist19:30:211
12290993211,4cyclictest0-21swapper/121:45:211
116852323,22sleep10-21swapper/119:06:081
1229099316,4cyclictest0-21swapper/123:23:461
1229099313,8cyclictest7850irq/56-dwc_otg_20:00:201
1229099313,7cyclictest10937-21idleruntime20:35:371
1229099313,7cyclictest10937-21idleruntime20:35:371
1229099312,16cyclictest0-21swapper/120:08:111
105882300,2sleep20-21swapper/219:05:352
1229099281,14cyclictest7950irq/56-dwc_otg_19:33:071
118942273,15sleep30-21swapper/319:08:453
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional