You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-21 - 08:37

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Sun Jun 21, 2026 00:43:28)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2323946996655,6cyclictest0-21swapper/223:00:352
2323945996053,4cyclictest2453961-21modprobe23:40:301
2323946995140,7cyclictest2412673-21cut22:35:012
2323946995140,7cyclictest2412673-21cut22:35:012
2323944994942,4cyclictest2344938-21basename20:20:010
2323945994739,5cyclictest2334439-21munin-run19:45:001
2323946994636,6cyclictest1-21systemd23:35:012
2323946994535,6cyclictest2422894-21needreboot22:50:272
2323946994437,3cyclictest0-21swapper/221:45:322
2323945994436,5cyclictest2349445-21systemd-run20:35:011
2323945994435,6cyclictest2326935-21sendmail19:20:011
232394699433,31cyclictest2444787-21ssh23:25:362
232394699433,31cyclictest2444787-21ssh23:25:362
2323945994234,5cyclictest2477638-21sendmail00:20:011
2323945994234,5cyclictest2366245-21latency_hist21:20:021
2323945994134,4cyclictest2400908-21gltestperf22:15:231
2323945994131,6cyclictest420-21avahi-daemon22:14:501
2323945994131,6cyclictest420-21avahi-daemon21:36:381
2323945994131,6cyclictest2329957-21systemd-run19:30:011
232394499413,32cyclictest2453916-21ssh23:40:280
2323944994123,12cyclictest151ktimers/023:15:310
2323946994033,4cyclictest2455975-21ssh23:45:012
2323944994033,5cyclictest2465301-21munin-run00:00:020
2323946993933,3cyclictest0-21swapper/221:35:192
2323945993932,4cyclictest0-21swapper/123:05:401
2323945993931,5cyclictest1002-21mta-sts-daemon21:42:421
2323944993932,5cyclictest2449815-21systemd-run23:35:010
232394699383,29cyclictest2441657-21ssh23:20:332
232394699383,29cyclictest2441657-21ssh23:20:332
2323946993830,5cyclictest2421977-21true22:50:012
2323946993830,3cyclictest0-21swapper/221:15:302
2323946993825,9cyclictest2361396-21timerandwakeup21:10:422
2323945993832,3cyclictest0-21swapper/121:30:011
2323945993830,5cyclictest2449868-21latency_hist23:35:021
2323946993731,3cyclictest0-21swapper/221:25:012
2323946993731,3cyclictest0-21swapper/200:00:022
2323946993730,4cyclictest0-21swapper/200:40:002
2323946993730,3cyclictest0-21swapper/200:35:012
2323946993730,3cyclictest0-21swapper/200:35:012
2323946993729,5cyclictest2353933-21munin-plugin-st20:50:002
2323946993729,5cyclictest2353933-21munin-plugin-st20:50:002
2323946993729,4cyclictest0-21swapper/222:40:412
2323946993726,7cyclictest2465353-21cups-browsed00:01:422
232394699371,31cyclictest2469512-21sh00:05:362
2323945993728,6cyclictest420-21avahi-daemon22:05:021
2323945993728,6cyclictest1001-21mta-sts-daemon22:51:571
232394599372,28cyclictest2373528-21ssh21:30:331
2323944993723,9cyclictest12650irq/32-eth022:15:350
2323946993628,5cyclictest2341926-21cron20:10:012
2323946993627,5cyclictest2403332-21idleruntime-cro22:20:012
2323946993626,6cyclictest561985-21cups-browsed22:10:592
2323946993625,7cyclictest421-21dbus-daemon20:00:312
232394699362,24cyclictest2472523-21ssh00:10:352
2323945993630,3cyclictest0-21swapper/100:35:311
2323945993629,4cyclictest2334415-21kworker/u8:5-rpciod21:10:031
2323945993629,3cyclictest0-21swapper/100:00:011
2323945993627,6cyclictest561985-21cups-browsed21:12:331
2323945993620,11cyclictest271ktimers/123:35:261
2323944993628,5cyclictest420-21avahi-daemon21:43:360
2323944993627,7cyclictest2366146-21sh21:20:000
2323944993622,10cyclictest12650irq/32-eth021:10:320
2323946993527,5cyclictest2415797-21systemd-run22:40:012
2323945993527,5cyclictest0-21swapper/119:40:011
2323945993527,5cyclictest0-21swapper/119:40:011
2323945993527,4cyclictest0-21swapper/100:30:291
2323945993527,4cyclictest0-21swapper/100:30:291
2323945993526,5cyclictest1000-21mta-sts-daemon21:55:331
2323944993529,4cyclictest2332857-21sed19:35:410
2323944993529,4cyclictest2332857-21sed19:35:410
2323944993528,4cyclictest2394133-21systemd-run22:05:010
2323944993527,4cyclictest0-21swapper/023:00:010
2323944993525,7cyclictest2441347-21latency23:20:240
2323944993525,7cyclictest2441347-21latency23:20:240
232394499352,26cyclictest2389010-21ssh21:55:320
2323944993514,15cyclictest561985-21cups-browsed19:15:310
232394699343,25cyclictest561985-21cups-browsed23:10:292
2323946993426,5cyclictest2437742-21/usr/sbin/munin23:15:412
2323946993426,5cyclictest2326836-21unixbench_singl19:15:402
2323946993426,3cyclictest0-21swapper/219:20:282
2323946993424,7cyclictest2450799-21ntp_kernel_pll_23:35:282
2323945993428,3cyclictest0-21swapper/120:20:011
2323945993427,4cyclictest2414203-21unixbench-2d22:35:401
2323945993427,4cyclictest1002-21mta-sts-daemon20:50:431
2323945993427,4cyclictest0-21swapper/121:50:301
2323945993427,3cyclictest0-21swapper/122:45:311
2323945993426,5cyclictest2358440-21munin-plugin-st21:05:001
2323945993425,5cyclictest439-21systemd-logind23:55:011
2323945993423,8cyclictest2347280-21ntp_kernel_err20:25:281
232394499343,24cyclictest665-21snmpd22:05:320
2323944993426,5cyclictest420-21avahi-daemon23:00:350
2323944993426,4cyclictest0-21swapper/000:00:290
2323944993423,8cyclictest2370268-21ssh21:25:280
2323944993417,12cyclictest12650irq/32-eth000:30:290
2323944993417,12cyclictest12650irq/32-eth000:30:290
2323944993411,17cyclictest2422945-21ssh22:50:290
2323946993325,5cyclictest2425798-21sh22:55:252
2323946993325,3cyclictest0-21swapper/221:55:322
2323945993327,3cyclictest0-21swapper/100:10:011
2323945993325,5cyclictest2480915-21latency_hist00:25:031
2323945993325,5cyclictest2334948-21fschecks_count19:45:211
2323945993324,6cyclictest2355817-21aten_r2power_vo20:55:201
2323945993322,8cyclictest2330770-21ntp_kernel_err19:30:271
232394599331,24cyclictest2404505-21rm22:20:351
2323944993327,4cyclictest421-21dbus-daemon23:15:020
2323944993326,5cyclictest2465353-21cups-browsed00:05:460
2323944993326,5cyclictest2416427-21grep22:40:220
2323944993326,3cyclictest0-21swapper/021:50:300
2323944993325,5cyclictest2421982-21systemd-run22:50:010
2323944993323,7cyclictest0-21swapper/023:35:280
2323944993321,7cyclictest2413742-21sh22:35:310
2323946993225,4cyclictest2457564-21grep23:45:402
2323946993225,4cyclictest1001-21mta-sts-daemon21:50:362
2323946993223,6cyclictest1000-21mta-sts-daemon22:24:482
2323946993223,5cyclictest2380291-21unixbench_singl21:40:412
232394699322,21cyclictest2373504-21ssh21:30:312
2323945993226,3cyclictest2424218-21kworker/u8:4-xprtiod23:20:011
2323945993226,3cyclictest0-21swapper/100:30:021
2323945993225,4cyclictest2412673-21munin-plugin-st22:35:011
2323945993225,4cyclictest2412673-21munin-plugin-st22:35:011
2323945993224,4cyclictest0-21swapper/100:15:011
2323945993223,6cyclictest2465687-21aten2.4-expect00:00:181
2323945993222,7cyclictest2437406-21sh23:15:011
2323945993222,6cyclictest2439536-21kworker/u8:17-events_unbound23:20:181
2323945993222,6cyclictest2439536-21kworker/u8:17-events_unbound23:20:181
232394599321,24cyclictest2407444-21ssh22:25:271
2323944993226,4cyclictest2411234-21unixbench_singl22:30:430
2323944993226,4cyclictest2411234-21unixbench_singl22:30:430
2323944993223,7cyclictest2336821-21ntp_kernel_pll_19:50:300
2323944993223,3cyclictest2336000-21latency_hist19:50:010
232394499322,25cyclictest2407501-21ssh22:25:300
2323944993220,3cyclictest0-21swapper/022:10:260
232394699313,20cyclictest2478870-21ps00:20:382
2323946993125,4cyclictest2369707-21aten_r2power_fr21:25:202
2323946993125,3cyclictest0-21swapper/220:55:002
2323946993125,3cyclictest0-21swapper/220:20:012
2323946993124,4cyclictest2358440-21munin-plugin-st21:05:002
2323946993123,5cyclictest2394573-21aten_r2power_po22:05:212
2323946993123,4cyclictest0-21swapper/200:16:592
2323946993122,6cyclictest2325427-21munin-plugin-st19:15:012
2323946993114,3cyclictest0-21swapper/222:25:402
2323945993127,2cyclictest0-21swapper/121:50:011
2323945993124,4cyclictest0-21swapper/119:25:011
2323945993123,5cyclictest561985-21cups-browsed23:29:351
2323945993123,5cyclictest561985-21cups-browsed23:29:351
2323945993122,4cyclictest0-21swapper/119:50:301
2323944993123,6cyclictest2343415-21cron20:15:010
2323944993122,4cyclictest0-21swapper/000:25:420
2323944993119,8cyclictest151ktimers/021:20:300
2323944993113,6cyclictest2323951-21kworker/u8:16+events_unbound19:20:320
232394499311,23cyclictest665-21snmpd19:25:290
2323946993023,4cyclictest0-21swapper/221:00:002
2323946993019,7cyclictest2483794-21ssh00:30:012
2323945993022,5cyclictest2346436-21cron20:25:011
232394599302,22cyclictest2457093-21ssh23:45:311
2323945993013,12cyclictest271ktimers/121:20:331
232394599301,23cyclictest2429234-21ssh23:00:311
2323944993025,3cyclictest2487280-21aten_r2power_en00:35:180
2323944993025,2cyclictest0-21swapper/020:25:300
2323944993025,2cyclictest0-21swapper/000:15:010
2323944993023,5cyclictest443-21gpm20:00:200
2323944993023,4cyclictest2449809-21kworker/u8:1+xprtiod00:20:010
232394499302,23cyclictest2382717-21rm21:45:280
2323944993020,7cyclictest561985-21cups-browsed21:33:200
2323944993020,7cyclictest2462151-21munin-plugin-st23:55:020
2323944993018,9cyclictest421-21dbus-daemon23:29:240
2323944993018,9cyclictest421-21dbus-daemon23:29:240
2323944993016,12cyclictest2338844-21unixbench_singl19:55:400
2323944993014,10cyclictest2478654-21ssh00:20:300
2323946992925,2cyclictest0-21swapper/221:10:012
2323946992922,3cyclictest0-21swapper/223:50:332
2323946992920,5cyclictest2392056-21ntpq22:00:302
2323946992912,12cyclictest561985-21cups-browsed20:25:282
2323945992922,4cyclictest2397223-21systemd-run22:10:011
232394599291,22cyclictest2416839-21sh22:40:311
2323944992923,3cyclictest0-21swapper/020:50:380
2323944992922,5cyclictest2350925-21sendmail20:40:010
2323944992921,6cyclictest2404243-21missed_timers22:20:260
2323944992921,5cyclictest2351816-21kworker/u8:8-xprtiod20:55:360
2323944992920,6cyclictest0-21swapper/021:40:010
2323946992821,3cyclictest0-21swapper/220:20:312
2323946992820,6cyclictest2432085-21latency23:05:252
232394499288,14cyclictest191rcuc/021:00:310
2323944992822,3cyclictest0-21swapper/020:30:190
232394499282,16cyclictest2432406-21ssh23:05:350
2323944992817,8cyclictest0-21swapper/019:15:010
2323946992721,3cyclictest0-21swapper/219:55:012
2323946992719,5cyclictest2331956-21fschecks_time19:35:222
2323946992719,5cyclictest2331956-21fschecks_time19:35:222
2323946992719,4cyclictest0-21swapper/219:45:272
2323945992722,2cyclictest0-21swapper/120:00:181
2323945992721,3cyclictest0-21swapper/120:05:281
2323945992721,3cyclictest0-21swapper/120:00:011
2323945992720,4cyclictest2350921-21cron20:40:011
2323945992719,6cyclictest0-21swapper/123:00:021
2323944992721,3cyclictest0-21swapper/021:05:280
2323944992713,10cyclictest151ktimers/023:45:260
2323946992618,5cyclictest561985-21cups-browsed19:41:472
2323946992618,5cyclictest1001-21mta-sts-daemon20:30:302
232394599261,5cyclictest171rcu_preempt20:45:271
232394599261,5cyclictest171rcu_preempt20:45:271
2323944992618,5cyclictest12650irq/32-eth020:09:300
2323946992518,4cyclictest2329819-21unixbench_multi19:25:392
232394699251,19cyclictest665-21snmpd19:30:302
232394599252,15cyclictest2342779-21sshd20:10:301
2323944992521,2cyclictest0-21swapper/020:50:010
2323944992521,2cyclictest0-21swapper/020:50:010
2323944992514,4cyclictest2352445-21munin-plugin-st20:45:010
2323946992418,3cyclictest0-21swapper/220:10:252
2323946992417,4cyclictest2350956-21kworker/u8:6-rpciod20:40:012
2323946992417,3cyclictest0-21swapper/220:00:022
2323946992416,5cyclictest561985-21cups-browsed20:44:222
2323945992418,3cyclictest0-21swapper/119:10:341
2323944992418,4cyclictest421-21dbus-daemon20:20:360
2323944992414,8cyclictest1-21systemd19:44:300
2323945992318,2cyclictest0-21swapper/119:10:011
2323945992217,2cyclictest0-21swapper/120:45:011
2323944992218,2cyclictest0-21swapper/019:30:220
232394499208,8cyclictest421-21dbus-daemon19:10:010
2323946991914,2cyclictest0-21swapper/219:10:012
232394799183,8cyclictest0-21swapper/321:30:303
232394799182,9cyclictest0-21swapper/322:00:353
232394799182,9cyclictest0-21swapper/319:45:303
232394799174,8cyclictest0-21swapper/319:50:303
232394799173,8cyclictest0-21swapper/300:35:313
232394799173,6cyclictest0-21swapper/320:35:303
232394799172,9cyclictest0-21swapper/320:15:303
232394799172,8cyclictest0-21swapper/323:45:263
232394799171,8cyclictest0-21swapper/323:55:223
232394799171,8cyclictest0-21swapper/322:15:223
232394799164,6cyclictest0-21swapper/320:10:363
232394799163,8cyclictest0-21swapper/300:15:303
232394799163,7cyclictest0-21swapper/322:10:383
232394799163,7cyclictest0-21swapper/321:20:363
232394799163,7cyclictest0-21swapper/321:15:313
232394799163,7cyclictest0-21swapper/320:25:283
232394799162,9cyclictest0-21swapper/323:20:303
232394799162,9cyclictest0-21swapper/323:20:303
232394799162,8cyclictest0-21swapper/321:40:273
232394799162,8cyclictest0-21swapper/321:10:013
232394799162,7cyclictest0-21swapper/322:40:233
232394799161,7cyclictest0-21swapper/322:20:303
232394799160,8cyclictest0-21swapper/323:50:323
232394799153,7cyclictest0-21swapper/323:30:313
232394799153,7cyclictest0-21swapper/320:00:313
232394799152,9cyclictest0-21swapper/321:35:193
232394799152,8cyclictest0-21swapper/300:30:233
232394799152,8cyclictest0-21swapper/300:30:233
232394799152,7cyclictest0-21swapper/323:15:293
232394799152,7cyclictest0-21swapper/322:50:293
232394799152,7cyclictest0-21swapper/321:50:193
232394799152,7cyclictest0-21swapper/300:25:303
232394799151,9cyclictest0-21swapper/300:04:503
232394799151,8cyclictest0-21swapper/323:35:273
232394799151,8cyclictest0-21swapper/323:25:183
232394799151,8cyclictest0-21swapper/323:25:183
232394799151,8cyclictest0-21swapper/300:05:353
232394799151,6cyclictest0-21swapper/320:55:343
232394799144,7cyclictest0-21swapper/323:00:323
232394799143,7cyclictest0-21swapper/322:05:303
232394799142,8cyclictest0-21swapper/323:10:263
232394799142,8cyclictest0-21swapper/300:10:303
232394799142,7cyclictest0-21swapper/322:35:273
232394799142,7cyclictest0-21swapper/322:25:193
232394799142,7cyclictest0-21swapper/319:40:303
232394799141,8cyclictest0-21swapper/323:05:293
232394799141,8cyclictest0-21swapper/321:55:343
232394799141,7cyclictest0-21swapper/322:30:373
232394799141,7cyclictest0-21swapper/322:30:373
232394799141,7cyclictest0-21swapper/319:30:283
232394799141,6cyclictest0-21swapper/320:50:303
232394799135,6cyclictest0-21swapper/321:25:263
232394799133,5cyclictest0-21swapper/320:30:303
232394799132,8cyclictest0-21swapper/322:55:393
232394799132,7cyclictest0-21swapper/319:20:283
232394799132,6cyclictest0-21swapper/321:10:183
232394799132,6cyclictest0-21swapper/300:20:243
232394799132,5cyclictest0-21swapper/320:20:273
232394799131,8cyclictest0-21swapper/322:45:293
232394799131,7cyclictest0-21swapper/323:40:183
232394799131,7cyclictest0-21swapper/321:45:193
232394799131,6cyclictest0-21swapper/321:00:303
232394799131,6cyclictest0-21swapper/319:25:343
232394799131,6cyclictest0-21swapper/319:15:273
232394799122,7cyclictest0-21swapper/319:55:303
232394799121,8cyclictest0-21swapper/320:45:013
232394799121,6cyclictest0-21swapper/320:45:303
232394799121,6cyclictest0-21swapper/320:45:303
232394799111,6cyclictest0-21swapper/319:40:013
232394799111,6cyclictest0-21swapper/319:40:013
232394799101,6cyclictest0-21swapper/320:05:223
232394799101,6cyclictest0-21swapper/319:10:343
23239479991,6cyclictest0-21swapper/319:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional