You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-29 - 02:24

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack2slot7s.osadl.org (updated Wed Apr 29, 2026 00:43:14)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1722864996844,20cyclictest1-21systemd00:30:012
1722862996658,5cyclictest1815701-21munin-run22:20:000
172286299554,45cyclictest1873057-21ssh23:30:450
1722863995243,6cyclictest421-21dbus-daemon21:50:011
1722864995140,7cyclictest4122572-21cups-browsed21:50:582
1722864995040,6cyclictest1-21systemd23:25:012
1722864994943,3cyclictest0-21swapper/223:00:532
1722863994940,5cyclictest1905614-21grep00:10:561
1722864994840,5cyclictest1827849-21systemd-run22:35:012
1722864994839,5cyclictest4122572-21cups-browsed00:00:002
1722862994840,5cyclictest1831779-21ssh22:40:010
1722864994739,5cyclictest1750026-21sendmail20:40:012
1722863994734,9cyclictest1787498-21/usr/sbin/munin21:45:011
1722863994638,5cyclictest1903867-21latency_hist00:10:021
1722863994635,8cyclictest1849055-21ssh23:00:451
1722862994617,22cyclictest12350irq/32-eth020:20:460
1722864994534,7cyclictest4122572-21cups-browsed22:50:502
1722862994532,10cyclictest1847814-21sendmail-msp23:00:010
1722862994528,14cyclictest1803611-21cron22:05:010
1722862994528,14cyclictest1803611-21cron22:05:010
1722864994438,3cyclictest0-21swapper/221:35:022
1722864994433,8cyclictest1733344-21systemd19:44:472
1722863994438,3cyclictest0-21swapper/122:20:011
1722863994335,5cyclictest1807675-21systemd-run22:10:011
1722863994335,5cyclictest1807675-21systemd-run22:10:011
1722863994335,5cyclictest1799660-21latency_hist22:00:021
1722862994335,5cyclictest1887872-21systemd-run23:50:010
1722862994335,5cyclictest1887872-21systemd-run23:50:010
1722862994328,11cyclictest0-21swapper/022:00:010
1722862994325,15cyclictest1808962-21sh22:10:460
1722864994234,5cyclictest1823830-21latency_hist22:30:022
1722862994231,8cyclictest1787529-21sh21:45:010
172286499414,30cyclictest1760239-21ssh21:10:452
1722864994132,6cyclictest421-21dbus-daemon22:45:022
1722864994132,5cyclictest1913404-21unixbench_singl00:20:562
1722863994132,6cyclictest421-21dbus-daemon21:15:011
1722863994131,7cyclictest1837505-21timerandwakeup22:46:021
1722863994131,7cyclictest1837505-21timerandwakeup22:46:021
1722863994130,6cyclictest0-21swapper/100:25:491
1722863994125,3cyclictest171rcu_preempt23:25:451
172286299413,31cyclictest1825174-21ssh22:30:510
1722862994129,8cyclictest0-21swapper/020:05:480
1722862994128,9cyclictest1900903-21missed_timers00:05:410
172286299412,32cyclictest1877064-21ssh23:35:460
1722864994033,4cyclictest0-21swapper/223:00:012
1722863994032,5cyclictest1739498-21systemd-run20:05:011
1722863994032,4cyclictest0-21swapper/121:50:541
1722862994032,5cyclictest1760604-21mailstats21:10:560
172286299402,30cyclictest4122567-21cupsd21:45:500
1722862994020,2cyclictest0-21swapper/019:25:470
1722862994020,2cyclictest0-21swapper/019:25:470
1722863993932,2cyclictest0-21swapper/121:15:541
1722863993923,8cyclictest171rcu_preempt22:40:521
1722862993933,4cyclictest1922672-21cron00:35:010
1722864993831,4cyclictest1863816-21systemd-run23:20:012
1722864993829,5cyclictest421-21dbus-daemon19:30:012
1722864993829,5cyclictest421-21dbus-daemon19:30:012
1722864993828,6cyclictest1-21systemd21:20:022
1722864993826,9cyclictest1772207-21kernelversion21:25:402
1722863993829,4cyclictest0-21swapper/100:00:011
1722863993828,5cyclictest0-21swapper/123:35:581
172286499379,22cyclictest1905059-21ssh00:10:462
172286499374,26cyclictest1784802-21ssh21:40:492
1722864993731,3cyclictest0-21swapper/200:35:012
1722863993730,3cyclictest0-21swapper/121:30:441
1722863993729,5cyclictest1-21systemd22:15:011
1722863993729,5cyclictest1054-21mta-sts-daemon23:05:431
172286399371,33cyclictest1841160-21ssh22:50:541
1722862993729,5cyclictest597-21gdbus20:01:490
1722862993729,5cyclictest1835920-21kworker/u8:16-xprtiod23:40:500
1722862993729,5cyclictest1835920-21kworker/u8:16-xprtiod23:40:500
1722862993728,7cyclictest1816540-21fschecks_count22:20:380
172286299372,19cyclictest1833018-21ssh22:40:450
1722862993721,11cyclictest12350irq/32-eth021:35:450
1722864993630,3cyclictest0-21swapper/222:40:012
1722864993627,6cyclictest1869700-21head23:25:592
1722864993624,9cyclictest1909443-21timerwakeupswit00:15:562
1722864993624,9cyclictest1909443-21timerwakeupswit00:15:562
1722864993624,8cyclictest1812915-21ntp_kernel_err22:15:492
1722863993628,5cyclictest0-21swapper/100:40:011
1722863993627,7cyclictest1864404-21aten_r2power_po23:20:321
1722863993626,6cyclictest420-21avahi-daemon21:29:521
1722863993625,7cyclictest420-21avahi-daemon21:38:081
1722863993612,3cyclictest171rcu_preempt19:15:461
1722862993630,4cyclictest421-21dbus-daemon00:15:010
1722862993630,3cyclictest0-21swapper/019:40:000
1722862993630,2cyclictest0-21swapper/022:25:400
1722862993628,6cyclictest1-21systemd23:15:020
1722862993622,11cyclictest1863755-21sh23:20:000
1722862993616,13cyclictest151ktimers/019:10:470
172286299361,28cyclictest1776577-21rm21:30:480
172286499353,24cyclictest1837028-21ssh22:45:472
172286499353,24cyclictest1837028-21ssh22:45:472
1722864993529,3cyclictest0-21swapper/221:20:412
1722864993527,4cyclictest0-21swapper/223:30:352
1722864993525,6cyclictest4122572-21cups-browsed21:37:352
1722864993523,5cyclictest0-21swapper/222:05:322
1722864993523,5cyclictest0-21swapper/222:05:322
172286399353,24cyclictest1768365-21ssh21:20:431
1722863993528,3cyclictest0-21swapper/123:55:001
1722863993527,5cyclictest1722873-21systemd-run19:10:011
1722863993526,6cyclictest421-21dbus-daemon23:32:291
1722863993526,5cyclictest0-21swapper/100:15:351
1722863993526,5cyclictest0-21swapper/100:15:351
1722863993515,3cyclictest171rcu_preempt19:50:471
1722863993514,3cyclictest171rcu_preempt22:35:521
172286299356,16cyclictest171rcu_preempt22:45:490
172286299356,16cyclictest171rcu_preempt22:45:490
172286299353,26cyclictest1897253-21ssh00:00:510
1722862993528,4cyclictest1727386-21systemd-run19:25:010
1722864993425,6cyclictest1926130-21systemd-run00:40:012
1722864993425,4cyclictest0-21swapper/222:10:442
1722863993424,6cyclictest1895805-21cups-browsed00:04:351
1722863993422,8cyclictest1055-21mta-sts-daemon23:00:021
1722862993424,7cyclictest1764871-21timerwakeupswit21:15:580
1722864993326,4cyclictest1740884-21grep20:05:552
1722864993325,4cyclictest0-21swapper/222:00:392
1722864993325,4cyclictest0-21swapper/222:00:392
1722863993325,5cyclictest0-21swapper/123:45:011
1722863993325,5cyclictest0-21swapper/123:45:011
1722863993324,5cyclictest0-21swapper/121:00:001
1722863993323,6cyclictest420-21avahi-daemon20:45:381
1722863993314,3cyclictest171rcu_preempt21:05:531
172286299333,25cyclictest1908898-21ssh00:15:440
172286299333,25cyclictest1908898-21ssh00:15:440
1722862993323,6cyclictest1924212-21timerandwakeup00:35:540
172286299331,22cyclictest1916551-21sh00:25:450
1722864993227,2cyclictest0-21swapper/223:50:012
1722864993227,2cyclictest0-21swapper/223:50:012
1722864993225,3cyclictest0-21swapper/223:40:012
1722864993225,3cyclictest0-21swapper/222:00:012
1722864993224,5cyclictest1725887-21systemd-run19:20:012
1722864993222,6cyclictest1751522-21grep20:45:002
1722864993220,5cyclictest0-21swapper/200:08:042
1722863993227,2cyclictest0-21swapper/122:05:021
1722863993227,2cyclictest0-21swapper/122:05:021
1722863993225,3cyclictest0-21swapper/122:25:391
1722863993224,5cyclictest0-21swapper/100:35:011
1722863993223,6cyclictest439-21systemd-logind19:50:011
1722863993214,3cyclictest171rcu_preempt23:15:451
1722863993211,6cyclictest171rcu_preempt20:35:451
1722862993226,4cyclictest1733424-21systemd-run19:45:020
1722862993223,6cyclictest1730364-21systemd-run19:35:010
1722862993223,6cyclictest1730364-21systemd-run19:35:010
1722862993222,7cyclictest1868864-21latency23:25:410
1722862993220,10cyclictest0-21swapper/021:25:570
1722862993217,12cyclictest1866388-21sshd23:22:150
172286299321,24cyclictest12350irq/32-eth021:50:450
1722864993123,5cyclictest0-21swapper/223:45:022
1722864993123,5cyclictest0-21swapper/223:45:022
1722864993120,8cyclictest1755991-21cron21:00:002
172286399314,19cyclictest1857147-21ssh23:10:501
1722863993122,5cyclictest1051-21mta-sts-daemon19:10:471
1722863993120,2cyclictest1824289-21rm22:30:331
172286399311,24cyclictest1885038-21sh23:45:431
172286399311,24cyclictest1885038-21sh23:45:431
1722862993113,13cyclictest12350irq/32-eth023:55:510
1722864993022,5cyclictest1896510-21ssh00:00:352
1722864993022,5cyclictest1727304-21unixbench_singl19:20:542
1722864993022,5cyclictest0-21swapper/221:10:012
1722864993022,3cyclictest0-21swapper/222:20:362
1722864993021,6cyclictest4122572-21cups-browsed23:05:202
1722864993021,6cyclictest1788335-21cut21:45:372
1722864993020,6cyclictest4122572-21cups-browsed23:13:022
172286499301,21cyclictest1889178-21diskmemload23:50:472
1722863993024,3cyclictest0-21swapper/120:20:011
1722863993022,5cyclictest0-21swapper/100:25:011
1722863993021,6cyclictest439-21systemd-logind20:35:011
172286399301,21cyclictest1728223-21sendmail-mta19:25:441
172286399301,21cyclictest1728223-21sendmail-mta19:25:441
1722862993022,5cyclictest1737957-21systemd-run20:00:010
1722862993011,13cyclictest659-21snmpd23:50:520
1722864992923,2cyclictest0-21swapper/220:30:492
1722864992919,7cyclictest1054-21mta-sts-daemon19:10:372
172286399297,3cyclictest171rcu_preempt19:55:361
1722863992922,4cyclictest1746818-21unixbench-2d20:25:551
1722863992920,5cyclictest1729499-21kernelversion19:30:391
1722863992920,5cyclictest1729499-21kernelversion19:30:391
1722863992918,4cyclictest1816559-21/usr/sbin/munin22:20:381
1722862992924,2cyclictest0-21swapper/021:20:520
1722862992921,4cyclictest0-21swapper/020:40:520
1722862992917,8cyclictest0-21swapper/022:05:470
1722862992917,8cyclictest0-21swapper/022:05:470
172286499283,18cyclictest659-21snmpd21:00:472
1722864992821,4cyclictest0-21swapper/220:20:012
1722864992820,5cyclictest534-21NetworkManager20:01:502
1722864992820,5cyclictest1737791-21unixbench_multi19:55:582
1722864992817,9cyclictest1754250-21timerandwakeup20:50:552
1722864992817,9cyclictest1754250-21timerandwakeup20:50:552
172286399284,3cyclictest171rcu_preempt19:35:451
1722863992822,3cyclictest0-21swapper/120:55:001
1722863992822,3cyclictest0-21swapper/120:55:001
172286399282,18cyclictest4122572-21cups-browsed20:40:521
1722863992818,7cyclictest1744823-21ntp_kernel_err20:20:431
172286299288,18cyclictest0-21swapper/022:50:490
1722862992822,3cyclictest0-21swapper/023:05:020
1722862992821,5cyclictest4122572-21cups-browsed20:45:380
1722862992821,4cyclictest1055-21mta-sts-daemon20:55:500
1722862992818,7cyclictest0-21swapper/000:25:010
172286299280,4cyclictest171rcu_preempt20:32:010
1722864992719,5cyclictest420-21avahi-daemon19:53:212
1722864992719,5cyclictest4122572-21cups-browsed19:10:022
1722863992720,5cyclictest261rcuc/121:00:491
1722863992720,3cyclictest0-21swapper/120:15:011
1722862992719,5cyclictest0-21swapper/021:10:010
1722862992714,8cyclictest151ktimers/021:00:500
1722862992714,3cyclictest0-21swapper/023:05:430
1722862992714,10cyclictest151ktimers/020:15:450
172286499265,16cyclictest1056-21mta-sts-daemon19:45:472
172286499263,15cyclictest428-21mta-sts-daemon20:25:462
1722864992618,5cyclictest261-21systemd-journal20:25:012
172286399264,15cyclictest428-21mta-sts-daemon19:20:471
1722863992617,6cyclictest1739839-21aten_r2power_po20:05:341
1722863992616,7cyclictest439-21systemd-logind19:44:461
172286299268,9cyclictest0-21swapper/020:35:330
1722862992621,2cyclictest0-21swapper/019:54:450
1722862992620,3cyclictest0-21swapper/019:15:550
1722862992617,6cyclictest1055-21mta-sts-daemon20:10:440
1722864992517,5cyclictest1751747-21/usr/sbin/munin20:45:452
1722864992416,5cyclictest1731843-21grep19:40:002
1722864992416,5cyclictest1729998-21switchtime19:30:532
1722864992416,5cyclictest1729998-21switchtime19:30:532
1722864992414,7cyclictest1741826-21ntp_kernel_err20:10:432
1722862992411,10cyclictest624-21lldpd20:50:370
1722862992411,10cyclictest624-21lldpd20:50:370
172286299232,15cyclictest4122572-21cups-browsed20:25:500
1722862992214,6cyclictest1734051-21kernelversion19:45:380
172286599203,8cyclictest0-21swapper/321:40:483
172286599192,8cyclictest0-21swapper/323:15:453
172286599192,10cyclictest0-21swapper/321:25:463
172286599183,10cyclictest0-21swapper/322:40:493
172286599182,9cyclictest0-21swapper/322:35:523
172286599182,9cyclictest0-21swapper/322:30:473
172286599182,10cyclictest0-21swapper/300:15:443
172286599182,10cyclictest0-21swapper/300:15:443
1722862991811,5cyclictest548-21gdbus19:10:010
172286599174,8cyclictest0-21swapper/323:40:493
172286599174,8cyclictest0-21swapper/323:40:493
172286599173,9cyclictest0-21swapper/300:10:433
172286599173,8cyclictest0-21swapper/323:55:443
172286599173,6cyclictest0-21swapper/323:45:453
172286599173,6cyclictest0-21swapper/323:45:453
172286599172,9cyclictest0-21swapper/321:56:033
172286599172,8cyclictest0-21swapper/300:30:483
172286599171,9cyclictest0-21swapper/323:10:513
172286599171,8cyclictest0-21swapper/319:55:483
172286599171,10cyclictest0-21swapper/300:00:343
172286599165,7cyclictest0-21swapper/319:45:443
172286599163,8cyclictest0-21swapper/323:25:453
172286599162,9cyclictest0-21swapper/322:45:363
172286599162,9cyclictest0-21swapper/322:45:363
172286599162,9cyclictest0-21swapper/300:05:503
172286599162,8cyclictest0-21swapper/323:50:423
172286599162,8cyclictest0-21swapper/323:35:453
172286599162,8cyclictest0-21swapper/322:00:463
172286599162,8cyclictest0-21swapper/322:00:463
172286599162,8cyclictest0-21swapper/321:40:003
172286599162,8cyclictest0-21swapper/321:10:463
172286599162,8cyclictest0-21swapper/320:40:523
172286599162,8cyclictest0-21swapper/300:20:433
172286599162,7cyclictest0-21swapper/322:05:443
172286599162,7cyclictest0-21swapper/322:05:443
172286599162,6cyclictest0-21swapper/319:40:443
172286599153,7cyclictest0-21swapper/323:20:413
172286599153,7cyclictest0-21swapper/322:15:423
172286599152,8cyclictest0-21swapper/300:25:433
172286599152,7cyclictest0-21swapper/322:10:443
172286599152,7cyclictest0-21swapper/319:10:453
172286599151,8cyclictest0-21swapper/320:45:473
172286599151,7cyclictest0-21swapper/322:55:423
172286599151,6cyclictest0-21swapper/321:00:473
172286599151,6cyclictest0-21swapper/319:30:453
172286599151,6cyclictest0-21swapper/319:30:453
172286599146,5cyclictest0-21swapper/321:30:453
172286599143,7cyclictest0-21swapper/323:00:443
172286599143,7cyclictest0-21swapper/322:25:453
172286599143,6cyclictest0-21swapper/322:50:453
172286599143,6cyclictest0-21swapper/320:35:013
172286599142,8cyclictest0-21swapper/321:50:533
172286599142,6cyclictest0-21swapper/319:15:493
172286599141,8cyclictest0-21swapper/321:20:493
172286599141,6cyclictest0-21swapper/321:05:523
172286599141,6cyclictest0-21swapper/320:00:433
172286599135,5cyclictest0-21swapper/323:05:423
172286599134,5cyclictest0-21swapper/321:15:463
172286599132,7cyclictest0-21swapper/320:25:503
172286599132,6cyclictest0-21swapper/320:50:473
172286599132,6cyclictest0-21swapper/320:50:473
172286599132,6cyclictest0-21swapper/320:10:443
172286599132,6cyclictest0-21swapper/320:05:453
172286599132,6cyclictest0-21swapper/300:35:333
172286599131,8cyclictest0-21swapper/322:20:513
172286599131,6cyclictest0-21swapper/319:35:463
172286599131,6cyclictest0-21swapper/319:20:423
172286599130,7cyclictest0-21swapper/320:55:503
172286599130,7cyclictest0-21swapper/320:15:443
172286599122,7cyclictest0-21swapper/323:30:353
172286599122,6cyclictest0-21swapper/319:25:483
172286599122,6cyclictest0-21swapper/319:25:483
172286599121,7cyclictest0-21swapper/321:45:373
172286599114,4cyclictest0-21swapper/319:50:453
172286599102,5cyclictest0-21swapper/320:35:423
172286599101,6cyclictest0-21swapper/320:20:453
17228659985,2cyclictest421rcuc/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional