You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-18 - 02:49

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Thu Jun 18, 2026 00:43:30)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
851151997261,7cyclictest3313177-21cups-browsed20:15:312
851151996050,6cyclictest956307-21ls23:00:182
851151996050,6cyclictest956307-21ls23:00:182
851150995845,7cyclictest0-21swapper/121:15:281
851151995630,22cyclictest931491-21fschecks_time22:20:212
851151995528,23cyclictest943299-21idleruntime-cro22:40:012
85115199542,47cyclictest887128-21diskmemload23:15:302
851149995218,28cyclictest888176-21ssh21:10:290
851151995127,6cyclictest420-21avahi-daemon19:35:192
85115199491,21cyclictest994159-21ssh00:00:332
85115199491,21cyclictest994159-21ssh00:00:332
851150994840,4cyclictest0-21swapper/123:40:251
85115099482,37cyclictest959936-21sh23:05:341
85115099482,37cyclictest959936-21sh23:05:341
851151994736,6cyclictest0-21swapper/221:00:282
85115199472,25cyclictest990982-21ssh23:55:292
851150994740,3cyclictest0-21swapper/100:15:281
851151994537,5cyclictest904016-21sh21:35:332
851151994534,4cyclictest0-21swapper/221:20:282
851150994537,5cyclictest918442-21munin-run22:00:011
85115199442,20cyclictest887128-21diskmemload22:15:302
85114999433,34cyclictest665-21snmpd20:15:270
85115199429,8cyclictest171rcu_preempt23:35:262
851151994230,8cyclictest946610-21latency_hist22:45:032
851151994229,6cyclictest1003-21mta-sts-daemon20:20:292
851150994234,5cyclictest913846-21unixbench_singl21:50:381
851149994223,16cyclictest854188-21latency_hist19:20:010
85115199413,14cyclictest1005508-21munin-run00:20:012
85115199404,27cyclictest1015883-21ssh00:35:262
851151994034,3cyclictest0-21swapper/220:15:022
851151994032,5cyclictest925284-21fschecks_count22:10:242
851151994032,5cyclictest918456-21plymouth22:00:012
851151994030,6cyclictest876645-21systemd-run20:35:022
85115199402,28cyclictest665-21snmpd20:35:312
851150994032,5cyclictest943281-21ls22:40:011
851149994030,6cyclictest151ktimers/020:20:290
851151993925,11cyclictest912983-21kernelversion21:50:212
851150993930,6cyclictest870640-21true20:15:011
851149993929,7cyclictest1015839-21ssh00:35:240
851149993929,6cyclictest151ktimers/021:55:330
85115199383,26cyclictest984743-21ssh23:45:262
85115199383,26cyclictest1012745-21ssh00:30:262
851151993830,5cyclictest909271-21latency_hist21:45:032
851151993830,5cyclictest866119-21munin-plugin-st20:00:012
851151993827,8cyclictest886868-21timerandwakeup21:05:382
851151993827,6cyclictest0-21swapper/200:20:152
851150993828,4cyclictest0-21swapper/100:30:291
851150993826,9cyclictest997728-21timerwakeupswit00:05:421
851150993826,9cyclictest997728-21timerwakeupswit00:05:421
851150993821,3cyclictest171rcu_preempt23:38:581
85114999382,31cyclictest941164-21ssh22:35:260
85115199374,25cyclictest987936-21rm23:50:312
85115199374,25cyclictest891242-21ssh21:15:272
851151993729,5cyclictest884123-21readlink21:00:012
851151993727,4cyclictest0-21swapper/223:08:112
851151993727,4cyclictest0-21swapper/223:08:112
851151993726,7cyclictest3313177-21cups-browsed23:32:562
851151993724,10cyclictest1003-21mta-sts-daemon20:50:272
851150993730,5cyclictest0-21swapper/123:20:001
851149993729,5cyclictest861662-21systemd-run19:45:020
85114999372,29cyclictest1003512-21ssh00:15:320
851149993717,14cyclictest12650irq/32-eth021:15:290
851151993627,4cyclictest0-21swapper/223:30:012
85115099363,25cyclictest953683-21sh22:55:281
85115099363,25cyclictest953683-21sh22:55:281
851150993631,2cyclictest0-21swapper/121:00:011
851150993627,7cyclictest694-21cron20:00:011
851149993627,7cyclictest938011-21ssh22:30:250
851149993626,8cyclictest1-21systemd00:23:350
851149993623,5cyclictest3313177-21cups-browsed21:24:030
85115199355,20cyclictest1000400-21ssh00:10:312
85115199355,20cyclictest1000400-21ssh00:10:312
85115199354,20cyclictest953673-21ssh22:55:282
85115199354,20cyclictest953673-21ssh22:55:282
851151993527,5cyclictest1009260-21fschecks_time00:25:202
851151993526,5cyclictest1002-21mta-sts-daemon22:47:172
851150993529,3cyclictest0-21swapper/123:45:391
851150993527,5cyclictest968812-21fschecks_time23:20:211
851150993527,5cyclictest885635-21cut21:05:011
85114999357,25cyclictest151ktimers/022:20:300
85114999354,27cyclictest12650irq/32-eth023:45:300
85114999354,19cyclictest14-21ksoftirqd/022:03:210
851149993527,5cyclictest996513-21/usr/sbin/munin00:05:250
851149993527,5cyclictest996513-21/usr/sbin/munin00:05:250
851151993424,6cyclictest485-21in:imuxsock19:35:012
851150993429,2cyclictest0-21swapper/119:20:001
851150993428,3cyclictest0-21swapper/100:00:021
851150993427,4cyclictest909471-21aten_r2power_en21:45:151
851150993424,8cyclictest903867-21sh21:35:291
85115099342,24cyclictest1015988-21ssh00:35:311
851150993421,3cyclictest171rcu_preempt22:14:211
851149993427,5cyclictest3313154-21cupsd23:10:120
851149993427,5cyclictest3313154-21cupsd23:10:120
851149993427,4cyclictest958863-21cron23:05:000
851149993427,4cyclictest958863-21cron23:05:000
851149993426,6cyclictest909122-21cut21:45:020
851149993420,6cyclictest945132-21sh22:41:110
851151993326,4cyclictest1000-21mta-sts-daemon19:25:262
851151993325,6cyclictest879648-21kworker/u8:11-xprtiod21:30:242
851151993324,6cyclictest3313177-21cups-browsed19:50:332
851151993324,4cyclictest0-21swapper/221:45:282
851151993322,6cyclictest0-21swapper/222:00:172
85115199332,12cyclictest963033-21ssh23:10:342
85115199332,12cyclictest963033-21ssh23:10:342
851150993328,3cyclictest0-21swapper/120:20:011
851150993324,7cyclictest949535-21idleruntime-cro22:50:011
851150993324,5cyclictest952655-21ssh22:55:021
851149993327,4cyclictest857160-21systemd-run19:30:020
851149993327,4cyclictest191rcuc/023:00:020
851149993327,4cyclictest191rcuc/023:00:020
851149993321,5cyclictest863073-21head19:45:370
851151993226,3cyclictest0-21swapper/221:10:242
851150993225,4cyclictest898178-21head21:25:391
851150993223,6cyclictest880159-21fschecks_time20:45:191
851149993225,4cyclictest980755-21latency_hist23:40:020
851149993224,6cyclictest420-21avahi-daemon21:32:420
851149993223,6cyclictest922977-21timerandwakeup22:05:380
851149993222,5cyclictest439-21systemd-logind20:45:020
851149993211,5cyclictest191rcuc/020:08:550
85115199315,15cyclictest922652-21ssh22:05:302
85115199313,21cyclictest897654-21ssh21:25:322
851151993124,4cyclictest951094-21unixbench_multi22:50:392
851151993124,4cyclictest0-21swapper/219:20:002
851151993122,6cyclictest855642-21cron19:25:012
851151993122,4cyclictest0-21swapper/220:45:302
851150993124,4cyclictest887160-21latency_hist21:10:021
851150993124,4cyclictest887128-21diskmemload22:05:171
851150993124,4cyclictest0-21swapper/121:30:351
851150993123,5cyclictest894976-21unixbench_multi21:20:391
851150993123,4cyclictest0-21swapper/100:25:391
851150993122,6cyclictest993117-21cups-browsed00:11:041
851150993122,6cyclictest993117-21cups-browsed00:11:041
85115099312,23cyclictest944287-21ssh22:40:271
85114999318,8cyclictest14-21ksoftirqd/023:20:220
85114999313,20cyclictest1012708-21ssh00:30:250
851149993125,3cyclictest0-21swapper/020:40:010
851149993124,4cyclictest906157-21latency_hist21:40:030
851149993120,2cyclictest0-21swapper/000:15:000
851149993120,2cyclictest0-21swapper/000:15:000
851149993115,3cyclictest171rcu_preempt22:46:570
851149993114,2cyclictest171rcu_preempt19:30:240
851151993022,5cyclictest265-21systemd-journal19:45:012
85115199302,21cyclictest935056-21ssh22:25:302
851151993021,6cyclictest265-21systemd-journal20:45:012
851151993019,5cyclictest0-21swapper/223:44:292
85115199300,25cyclictest968920-21awk23:20:222
85115099304,6cyclictest28-21ksoftirqd/123:00:281
85115099304,6cyclictest28-21ksoftirqd/123:00:281
851150993024,3cyclictest0-21swapper/120:40:011
851150993023,3cyclictest0-21swapper/122:30:301
851150993022,5cyclictest928201-21aten_r2power_po22:15:191
851150993022,5cyclictest858857-21acpi19:35:161
85115099302,24cyclictest975508-21ssh23:30:311
851150993021,4cyclictest0-21swapper/120:05:021
851150993019,3cyclictest171rcu_preempt21:44:211
851150993012,4cyclictest28-21ksoftirqd/123:10:231
851150993012,4cyclictest28-21ksoftirqd/123:10:231
85114999307,8cyclictest14-21ksoftirqd/023:50:260
85114999305,12cyclictest14-21ksoftirqd/020:00:360
85114999304,8cyclictest14-21ksoftirqd/023:25:260
85114999304,15cyclictest14-21ksoftirqd/023:15:290
851149993025,3cyclictest994718-21grep00:00:440
851149993025,3cyclictest994718-21grep00:00:440
851149993025,2cyclictest0-21swapper/021:50:280
851149993025,2cyclictest0-21swapper/020:15:010
851149993024,3cyclictest191rcuc/021:45:180
851149993023,4cyclictest12650irq/32-eth022:25:380
851149993022,6cyclictest863845-21sshd19:50:230
851149993022,4cyclictest0-21swapper/022:10:300
851149993019,6cyclictest171rcu_preempt23:42:220
851149993016,3cyclictest171rcu_preempt23:55:230
851149993011,16cyclictest191rcuc/021:03:030
851151992922,4cyclictest863250-21latency_hist19:50:022
85115199292,16cyclictest938724-21ssh22:30:402
851151992921,5cyclictest852206-21systemctl19:10:372
851151992920,7cyclictest0-21swapper/200:10:012
851151992920,7cyclictest0-21swapper/200:10:012
85115099299,4cyclictest28-21ksoftirqd/119:45:271
85115099298,11cyclictest28-21ksoftirqd/122:24:041
851150992924,3cyclictest0-21swapper/121:10:261
851150992914,3cyclictest171rcu_preempt22:03:011
851150992912,7cyclictest28-21ksoftirqd/100:00:041
851150992912,7cyclictest28-21ksoftirqd/100:00:041
851150992910,6cyclictest28-21ksoftirqd/120:45:021
85114999297,10cyclictest151ktimers/020:30:240
85114999295,7cyclictest14-21ksoftirqd/021:05:310
851149992923,4cyclictest881073-21unixbench_singl20:45:370
851149992915,5cyclictest951502-21ssh22:51:370
851149992915,3cyclictest171rcu_preempt23:06:230
851149992915,3cyclictest171rcu_preempt23:06:230
851149992915,2cyclictest171rcu_preempt22:17:520
851149992913,3cyclictest171rcu_preempt23:30:040
851149992913,2cyclictest171rcu_preempt20:55:030
851149992912,3cyclictest171rcu_preempt00:27:570
851151992821,4cyclictest867889-21aten_r2power_cu20:05:162
851151992819,6cyclictest851154-21systemd-run19:10:022
85115099288,6cyclictest28-21ksoftirqd/119:10:021
85115099288,4cyclictest28-21ksoftirqd/119:30:241
85115099287,4cyclictest28-21ksoftirqd/119:20:281
85115099287,3cyclictest28-21ksoftirqd/119:50:281
851150992823,2cyclictest0-21swapper/119:25:171
851150992822,4cyclictest261rcuc/120:20:231
851150992821,5cyclictest851148-21cyclictest23:30:001
851150992821,4cyclictest1003-21mta-sts-daemon23:50:231
851150992812,3cyclictest0-21swapper/122:30:031
85114999286,6cyclictest14-21ksoftirqd/019:20:310
85114999285,12cyclictest14-21ksoftirqd/019:55:300
85114999283,5cyclictest14-21ksoftirqd/019:35:330
851149992820,4cyclictest151ktimers/019:10:290
851149992811,15cyclictest191rcuc/020:25:400
85115099277,5cyclictest28-21ksoftirqd/119:40:281
85115099276,4cyclictest28-21ksoftirqd/120:50:311
85115099274,7cyclictest868559-21ld20:05:311
85115099270,11cyclictest1007713-21sh00:22:161
851149992719,5cyclictest151ktimers/020:50:210
851149992713,3cyclictest171rcu_preempt21:25:200
85115199263,12cyclictest665-21snmpd20:25:292
85115099268,4cyclictest28-21ksoftirqd/119:10:291
85115099265,3cyclictest28-21ksoftirqd/120:25:231
851150992618,5cyclictest1000-21mta-sts-daemon20:31:181
851149992410,3cyclictest171rcu_preempt19:10:020
851151992315,4cyclictest0-21swapper/220:00:292
85115299201,14cyclictest0-21swapper/322:35:323
85115299201,14cyclictest0-21swapper/321:37:243
85115299201,14cyclictest0-21swapper/320:10:303
85115299201,13cyclictest0-21swapper/300:25:253
85115299201,12cyclictest0-21swapper/300:15:263
85115299200,3cyclictest0-21swapper/323:45:163
85115299191,3cyclictest0-21swapper/300:20:303
85115299191,14cyclictest0-21swapper/323:15:263
85115299191,14cyclictest0-21swapper/322:55:283
85115299191,14cyclictest0-21swapper/322:55:283
85115299191,14cyclictest0-21swapper/319:50:333
85115299191,13cyclictest0-21swapper/323:35:333
85115299191,13cyclictest0-21swapper/321:20:293
85115299191,13cyclictest0-21swapper/320:20:313
85115299191,13cyclictest0-21swapper/320:00:253
85115299191,13cyclictest0-21swapper/300:05:283
85115299191,13cyclictest0-21swapper/300:05:283
85115299190,3cyclictest0-21swapper/321:27:463
85115299190,3cyclictest0-21swapper/319:55:303
85115299190,3cyclictest0-21swapper/319:40:233
85115299182,12cyclictest0-21swapper/323:25:303
85115299182,12cyclictest0-21swapper/321:30:283
85115299181,3cyclictest0-21swapper/323:30:283
85115299181,3cyclictest0-21swapper/322:50:263
85115299181,3cyclictest0-21swapper/322:45:273
85115299181,3cyclictest0-21swapper/322:40:283
85115299181,3cyclictest0-21swapper/321:45:293
85115299181,3cyclictest0-21swapper/320:40:283
85115299181,3cyclictest0-21swapper/319:30:253
85115299181,3cyclictest0-21swapper/300:35:273
85115299181,13cyclictest0-21swapper/323:40:253
85115299181,13cyclictest0-21swapper/323:10:303
85115299181,13cyclictest0-21swapper/323:10:303
85115299181,13cyclictest0-21swapper/322:30:323
85115299181,13cyclictest0-21swapper/321:50:283
85115299181,13cyclictest0-21swapper/321:40:323
85115299181,13cyclictest0-21swapper/321:05:313
85115299181,13cyclictest0-21swapper/320:55:263
85115299181,13cyclictest0-21swapper/300:00:303
85115299181,13cyclictest0-21swapper/300:00:303
85115299181,12cyclictest0-21swapper/321:10:263
85115299181,12cyclictest0-21swapper/320:30:243
85115299181,12cyclictest0-21swapper/320:25:263
85115299181,12cyclictest0-21swapper/320:15:263
85115299181,12cyclictest0-21swapper/319:15:313
85115299181,12cyclictest0-21swapper/300:10:263
85115299181,12cyclictest0-21swapper/300:10:263
85115299181,11cyclictest0-21swapper/319:45:253
85115299180,3cyclictest0-21swapper/323:55:263
85115299180,3cyclictest0-21swapper/323:50:333
85115299180,3cyclictest0-21swapper/322:20:303
85115299180,3cyclictest0-21swapper/322:15:323
85115299180,3cyclictest0-21swapper/322:05:203
85115299180,3cyclictest0-21swapper/322:00:323
85115299180,3cyclictest0-21swapper/321:55:303
85115299180,3cyclictest0-21swapper/320:35:213
85115299180,3cyclictest0-21swapper/319:35:243
85115299180,3cyclictest0-21swapper/319:20:193
85115299180,3cyclictest0-21swapper/319:10:363
85115299171,3cyclictest0-21swapper/322:25:183
85115299171,3cyclictest0-21swapper/320:45:043
85115299171,12cyclictest0-21swapper/322:10:323
85115299171,12cyclictest0-21swapper/321:15:143
85115299171,12cyclictest0-21swapper/320:50:263
85115299171,12cyclictest0-21swapper/300:30:243
85115299170,3cyclictest0-21swapper/323:20:173
85115299170,3cyclictest0-21swapper/323:05:273
85115299170,3cyclictest0-21swapper/323:05:273
85115299170,3cyclictest0-21swapper/323:00:263
85115299170,3cyclictest0-21swapper/323:00:263
85115299170,3cyclictest0-21swapper/321:00:263
85115299170,3cyclictest0-21swapper/320:05:293
85115299170,3cyclictest0-21swapper/319:25:253
85115299170,2cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional