You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-13 - 09:57

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Mon Jul 13, 2026 00:43:17)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1823165995645,8cyclictest1866881-21unixbench-2d21:20:510
1823167995341,9cyclictest1895470-21cron22:10:012
1823167994939,7cyclictest1848647-21munin-plugin-st20:35:012
1823167994937,5cyclictest0-21swapper/222:25:432
1823167994737,6cyclictest1000-21mta-sts-daemon00:35:422
1823167994737,6cyclictest0-21swapper/200:30:432
1823166994738,5cyclictest1969251-21timerwakeupswit00:10:551
1823167994639,3cyclictest0-21swapper/221:10:452
1823167994535,6cyclictest1839680-21systemd-run20:05:012
1823167994535,6cyclictest1839680-21systemd-run20:05:012
1823166994537,5cyclictest1913531-21sendmail22:40:011
1823165994537,5cyclictest1835172-21systemd-run19:50:010
1823167994436,5cyclictest1862865-21/usr/sbin/munin21:15:322
1823166994436,5cyclictest1875559-21sh21:35:441
1823167994333,6cyclictest1872167-21/usr/sbin/munin21:30:352
1823166994336,4cyclictest1003-21mta-sts-daemon23:22:021
1823166994335,5cyclictest1-21systemd22:20:011
1823166994335,5cyclictest1-21systemd22:20:011
1823167994133,5cyclictest1974259-21aten_r2power_vo00:20:312
1823167994133,5cyclictest1926083-21aten_r2power_vo23:00:312
1823167994130,7cyclictest420-21avahi-daemon22:50:022
182316799412,33cyclictest1947727-21ssh23:35:432
1823165994135,4cyclictest1913489-21cron22:40:010
1823165994135,3cyclictest1000-21mta-sts-daemon19:20:430
1823165994132,7cyclictest1982736-21ls00:35:010
182316799404,28cyclictest750-21ntpd21:20:412
1823167994033,4cyclictest1889498-21sendmail22:00:012
1823167994032,5cyclictest1979744-21systemd-run00:30:012
1823166994034,4cyclictest1823164-21cyclictest00:20:381
1823166994034,3cyclictest0-21swapper/100:00:011
1823166994029,8cyclictest1887425-21missed_timers21:55:371
182316599406,22cyclictest1926580-21ntpq23:00:380
1823165994028,4cyclictest1001-21mta-sts-daemon20:10:380
1823166993931,5cyclictest1925533-21munin-plugin-st23:00:011
1823166993930,6cyclictest421-21dbus-daemon00:15:301
1823166993930,6cyclictest421-21dbus-daemon00:15:301
1823165993933,4cyclictest1966276-21unixbench-2d00:05:520
1823165993927,9cyclictest0-21swapper/023:45:010
1823167993830,5cyclictest1886486-21sshd21:55:012
1823167993829,5cyclictest1902295-21kernelversion22:20:362
1823166993830,5cyclictest1915144-21tail22:40:541
1823166993829,6cyclictest1985772-21true00:40:011
1823166993828,6cyclictest420-21avahi-daemon22:05:401
182316699382,25cyclictest1860279-21ssh21:10:431
1823165993831,4cyclictest1970726-21sshd00:15:020
1823165993830,5cyclictest1961704-21diskmemload00:00:020
1823165993829,6cyclictest421-21dbus-daemon23:52:290
1823165993829,5cyclictest421-21dbus-daemon22:01:590
1823165993825,9cyclictest151ktimers/023:45:460
1823167993731,3cyclictest0-21swapper/221:50:002
1823167993728,6cyclictest0-21swapper/223:10:032
1823167993728,6cyclictest0-21swapper/223:10:032
1823167993728,6cyclictest0-21swapper/220:20:012
1823166993732,2cyclictest0-21swapper/120:40:011
1823166993729,5cyclictest89824-21cups-browsed23:49:441
1823165993731,3cyclictest0-21swapper/023:25:020
1823165993730,4cyclictest665-21snmpd21:30:350
1823165993725,6cyclictest1001-21mta-sts-daemon21:40:310
1823165993725,6cyclictest1001-21mta-sts-daemon21:40:310
1823167993629,4cyclictest1943629-21ssh23:30:012
1823167993629,3cyclictest0-21swapper/223:20:532
1823167993628,5cyclictest1970735-21latency_hist00:15:022
1823167993625,8cyclictest1925558-21sendmail23:00:012
1823167993624,4cyclictest0-21swapper/222:30:472
182316799362,24cyclictest1899517-21ssh22:15:392
182316799362,24cyclictest1899517-21ssh22:15:392
1823166993627,5cyclictest1941900-21mailstats23:25:481
1823165993629,4cyclictest1891244-21kworker/u8:3-rpciod22:26:010
182316799356,20cyclictest665-21snmpd00:05:442
1823167993528,4cyclictest1961871-21latency_hist00:00:032
1823167993524,8cyclictest1945291-21sed23:30:532
182316799352,25cyclictest1875423-21ssh21:35:392
182316799351,30cyclictest1962723-21ssh00:00:422
1823166993529,3cyclictest0-21swapper/122:50:391
1823166993528,5cyclictest421-21dbus-daemon20:05:011
1823166993528,5cyclictest421-21dbus-daemon20:05:011
1823166993525,7cyclictest1869540-21ntp_offset21:25:431
1823166993524,8cyclictest1951129-21timerandwakeup23:40:591
1823165993526,7cyclictest1971688-21needreboot00:15:380
1823165993526,7cyclictest1971688-21needreboot00:15:380
1823165993523,9cyclictest0-21swapper/022:40:290
182316599351,5cyclictest14-21ksoftirqd/000:01:410
1823167993427,4cyclictest1856961-21needreboot21:00:352
1823166993429,3cyclictest0-21swapper/121:15:451
1823166993429,2cyclictest0-21swapper/100:10:011
1823166993427,4cyclictest1866920-21grep21:20:511
1823166993426,5cyclictest1882130-21unixbench_singl21:45:521
1823166993426,5cyclictest1859147-21diskmemload21:50:341
1823166993426,5cyclictest1836646-21grep19:55:011
1823166993426,5cyclictest1836646-21grep19:55:011
1823166993425,6cyclictest1910520-21systemd-run22:35:011
1823166993424,8cyclictest1937576-21munin-run23:20:011
1823166993422,3cyclictest1850669-21sort20:40:341
182316599344,25cyclictest89819-21cupsd22:10:370
1823165993428,3cyclictest0-21swapper/021:10:010
1823165993425,4cyclictest0-21swapper/023:10:140
1823165993425,4cyclictest0-21swapper/023:10:140
1823165993424,7cyclictest1942162-21ls23:25:520
1823165993423,8cyclictest0-21swapper/022:15:390
1823165993423,8cyclictest0-21swapper/022:15:390
1823165993421,9cyclictest0-21swapper/021:55:400
1823167993325,5cyclictest1901721-21kworker/u8:11-xprtiod22:35:422
1823166993327,3cyclictest0-21swapper/123:30:471
182316699331,26cyclictest1962869-21ssh00:00:481
182316599336,8cyclictest14-21ksoftirqd/022:57:240
1823165993326,5cyclictest421-21dbus-daemon23:30:360
1823165993323,6cyclictest0-21swapper/000:20:520
182316599331,23cyclictest1908607-21ssh22:30:420
1823167993224,5cyclictest1853158-21systemd-run20:50:012
1823167993223,6cyclictest1932817-21proc_pri23:10:482
1823167993223,6cyclictest1932817-21proc_pri23:10:482
1823166993224,5cyclictest1929474-21ssh23:05:361
1823166993224,5cyclictest1929474-21ssh23:05:361
1823166993223,5cyclictest1001-21mta-sts-daemon22:49:591
1823166993222,8cyclictest1890243-21if_eth022:00:371
182316699321,23cyclictest1980936-21rm00:30:461
182316599326,8cyclictest14-21ksoftirqd/021:25:430
1823165993225,4cyclictest1830583-21unixbench_singl19:30:540
1823165993224,5cyclictest89824-21cups-browsed21:38:520
1823165993224,5cyclictest1002-21mta-sts-daemon00:25:260
1823165993223,6cyclictest1862212-21munin-plugin-st21:15:010
1823165993223,5cyclictest151ktimers/020:40:460
182316599322,24cyclictest421-21dbus-daemon23:35:450
1823165993214,8cyclictest1920564-21ntpq22:50:390
1823165993212,5cyclictest191rcuc/019:15:440
182316799316,5cyclictest171rcu_preempt00:15:462
182316799316,5cyclictest171rcu_preempt00:15:462
1823167993124,4cyclictest1845542-21unixbench_multi20:20:522
1823167993124,4cyclictest1001-21mta-sts-daemon19:25:492
1823167993124,4cyclictest0-21swapper/222:50:472
1823167993123,5cyclictest1851582-21unixbench_singl20:40:532
1823167993123,5cyclictest1842667-21systemd-run20:15:022
1823166993124,4cyclictest1933207-21unixbench_multi23:10:531
1823166993124,4cyclictest1933207-21unixbench_multi23:10:531
1823166993124,4cyclictest0-21swapper/100:30:021
1823166993123,5cyclictest420-21avahi-daemon21:30:141
1823166993123,5cyclictest1858415-21missed_timers21:05:381
1823166993121,8cyclictest1949730-21latency_hist23:40:021
1823166993115,12cyclictest1856957-21needreboot21:00:351
182316599318,6cyclictest14-21ksoftirqd/021:50:460
182316599317,8cyclictest14-21ksoftirqd/021:15:430
1823165993125,4cyclictest1902058-21cpu22:20:310
1823165993123,4cyclictest0-21swapper/020:00:380
1823165993123,4cyclictest0-21swapper/020:00:380
1823165993122,5cyclictest151ktimers/023:15:450
1823165993121,7cyclictest1823115-21munin-plugin-st19:10:020
1823165993117,11cyclictest1853135-21cron20:50:010
1823165993115,7cyclictest171rcu_preempt20:57:450
182316799304,16cyclictest420-21avahi-daemon20:55:442
1823167993024,4cyclictest0-21swapper/220:00:012
1823167993024,4cyclictest0-21swapper/220:00:012
1823167993023,5cyclictest0-21swapper/221:45:032
1823167993023,5cyclictest0-21swapper/221:45:032
1823167993023,4cyclictest1000-21mta-sts-daemon21:26:562
1823167993021,4cyclictest0-21swapper/222:00:422
182316699307,4cyclictest1956788-21ssh23:50:441
1823166993024,3cyclictest0-21swapper/119:40:011
1823166993023,5cyclictest271ktimers/120:50:411
1823166993023,3cyclictest0-21swapper/122:25:281
1823166993021,6cyclictest1827567-21sed19:20:531
1823166993021,2cyclictest171rcu_preempt22:12:051
182316599307,5cyclictest151ktimers/000:38:150
182316599304,11cyclictest14-21ksoftirqd/022:05:460
1823165993025,3cyclictest191rcuc/021:00:480
1823165993025,2cyclictest0-21swapper/020:15:520
1823165993016,2cyclictest171rcu_preempt22:45:360
182316599300,9cyclictest14-21ksoftirqd/019:50:390
182316599300,9cyclictest14-21ksoftirqd/019:50:390
1823167992922,5cyclictest0-21swapper/222:45:012
1823167992922,4cyclictest1859142-21sh21:10:002
1823167992922,3cyclictest0-21swapper/222:10:342
1823167992921,5cyclictest1825172-21fschecks_time19:15:342
1823166992924,2cyclictest0-21swapper/119:20:011
1823166992923,4cyclictest1823164-21cyclictest21:40:401
1823166992923,4cyclictest1823164-21cyclictest21:40:401
1823166992921,5cyclictest1841467-21aten_r2power_fr20:10:311
182316599299,3cyclictest171rcu_preempt20:20:530
182316599298,5cyclictest151ktimers/019:13:480
182316599296,6cyclictest14-21ksoftirqd/020:35:440
182316599296,5cyclictest14-21ksoftirqd/023:05:400
182316599296,5cyclictest14-21ksoftirqd/023:05:400
182316599296,20cyclictest151ktimers/019:30:030
182316599295,5cyclictest14-21ksoftirqd/021:45:310
182316599292,9cyclictest14-21ksoftirqd/020:30:420
1823165992910,5cyclictest14-21ksoftirqd/020:25:340
1823165992910,2cyclictest171rcu_preempt19:55:410
1823165992910,2cyclictest171rcu_preempt19:55:410
1823167992822,3cyclictest0-21swapper/223:20:012
1823167992821,4cyclictest1830223-21sendmail_mailst19:30:502
1823167992821,4cyclictest0-21swapper/220:10:002
1823167992821,3cyclictest0-21swapper/223:45:502
1823166992824,3cyclictest1823164-21cyclictest19:25:341
1823166992819,6cyclictest89819-21cupsd23:04:431
1823166992818,6cyclictest89819-21cupsd22:21:361
182316599285,2cyclictest171rcu_preempt20:50:420
182316599283,9cyclictest14-21ksoftirqd/020:05:400
182316599283,4cyclictest14-21ksoftirqd/019:35:410
1823167992720,4cyclictest1956557-21missed_timers23:50:362
1823167992719,5cyclictest1850129-21cron20:40:012
1823167992718,5cyclictest1827666-21latency_hist19:25:012
182316699275,10cyclictest0-21swapper/119:56:241
182316699275,10cyclictest0-21swapper/119:56:241
1823166992721,3cyclictest0-21swapper/120:35:011
1823166992719,5cyclictest0-21swapper/121:00:011
1823166992711,11cyclictest421-21dbus-daemon20:15:411
1823165992714,6cyclictest171rcu_preempt19:40:380
1823167992619,4cyclictest1001-21mta-sts-daemon23:41:102
1823166992621,3cyclictest0-21swapper/119:40:481
1823166992620,3cyclictest0-21swapper/120:25:011
1823166992614,5cyclictest1830076-21collect219:30:441
1823167992519,3cyclictest0-21swapper/219:45:012
1823167992517,5cyclictest89824-21cups-browsed20:25:252
182316799251,3cyclictest171rcu_preempt19:40:012
182316699256,6cyclictest1839941-21aten_r2power_en20:05:311
1823166992519,3cyclictest0-21swapper/119:45:451
1823167992419,2cyclictest0-21swapper/219:55:002
1823167992419,2cyclictest0-21swapper/219:55:002
1823167992418,3cyclictest0-21swapper/220:55:012
1823167992417,5cyclictest1824104-21ntp_states19:10:472
1823167992415,7cyclictest1834861-21xargs19:45:492
1823166992419,3cyclictest0-21swapper/120:50:011
1823166992417,4cyclictest1000-21mta-sts-daemon20:25:301
1823166992416,5cyclictest1824551-21unixbench_multi19:10:551
1823166992112,6cyclictest0-21swapper/119:10:021
182316899202,9cyclictest0-21swapper/321:40:293
182316899202,9cyclictest0-21swapper/321:40:293
182316899202,10cyclictest0-21swapper/323:00:433
182316899183,10cyclictest0-21swapper/321:55:333
182316899182,9cyclictest0-21swapper/323:55:413
182316899182,10cyclictest0-21swapper/323:50:433
182316899182,10cyclictest0-21swapper/323:15:363
182316899181,10cyclictest0-21swapper/321:15:423
182316899173,8cyclictest0-21swapper/322:35:323
182316899172,9cyclictest0-21swapper/323:45:433
182316899172,9cyclictest0-21swapper/323:40:483
182316899172,9cyclictest0-21swapper/323:35:413
182316899172,8cyclictest0-21swapper/322:50:433
182316899172,10cyclictest0-21swapper/323:25:443
182316899172,10cyclictest0-21swapper/300:30:433
182316899171,9cyclictest0-21swapper/323:20:463
182316899171,8cyclictest0-21swapper/321:20:403
182316899171,8cyclictest0-21swapper/319:35:423
182316899171,7cyclictest0-21swapper/322:00:353
1823167991712,2cyclictest0-21swapper/219:10:022
182316899164,7cyclictest0-21swapper/322:05:423
182316899163,8cyclictest0-21swapper/322:40:473
182316899162,9cyclictest0-21swapper/323:05:313
182316899162,9cyclictest0-21swapper/323:05:313
182316899162,9cyclictest0-21swapper/322:30:473
182316899162,9cyclictest0-21swapper/300:27:363
182316899162,8cyclictest0-21swapper/321:10:353
182316899161,9cyclictest0-21swapper/323:10:403
182316899161,9cyclictest0-21swapper/323:10:403
182316899161,9cyclictest0-21swapper/322:20:473
182316899161,9cyclictest0-21swapper/321:50:393
182316899161,9cyclictest0-21swapper/321:40:013
182316899161,9cyclictest0-21swapper/321:25:393
182316899161,9cyclictest0-21swapper/300:20:303
182316899153,7cyclictest0-21swapper/300:35:413
182316899152,9cyclictest0-21swapper/322:25:333
182316899152,9cyclictest0-21swapper/300:00:483
182316899152,7cyclictest0-21swapper/320:15:413
182316899152,7cyclictest0-21swapper/320:00:373
182316899152,7cyclictest0-21swapper/320:00:373
182316899151,9cyclictest0-21swapper/322:59:473
182316899151,9cyclictest0-21swapper/322:45:383
182316899151,9cyclictest0-21swapper/322:15:493
182316899151,9cyclictest0-21swapper/322:15:493
182316899151,9cyclictest0-21swapper/300:05:393
182316899151,7cyclictest0-21swapper/320:35:463
182316899151,7cyclictest0-21swapper/320:05:413
182316899151,6cyclictest0-21swapper/319:15:413
182316899142,7cyclictest0-21swapper/300:10:373
182316899142,6cyclictest0-21swapper/322:10:343
182316899142,5cyclictest0-21swapper/319:10:413
182316899141,8cyclictest0-21swapper/323:30:553
182316899141,8cyclictest0-21swapper/321:45:293
182316899141,8cyclictest0-21swapper/319:25:443
182316899141,7cyclictest0-21swapper/321:05:463
182316899141,6cyclictest0-21swapper/321:00:373
182316899141,5cyclictest0-21swapper/320:10:403
182316899131,8cyclictest0-21swapper/321:30:353
182316899131,8cyclictest0-21swapper/300:15:413
182316899131,8cyclictest0-21swapper/300:15:413
182316899131,6cyclictest0-21swapper/320:45:423
182316899131,6cyclictest0-21swapper/320:20:413
182316899130,6cyclictest0-21swapper/320:50:383
182316899122,6cyclictest0-21swapper/321:00:013
182316899122,6cyclictest0-21swapper/320:40:353
182316899122,4cyclictest0-21swapper/319:45:373
182316899121,7cyclictest0-21swapper/319:50:413
182316899121,7cyclictest0-21swapper/319:50:413
182316899121,7cyclictest0-21swapper/319:20:403
182316899121,6cyclictest0-21swapper/320:30:393
182316899121,6cyclictest0-21swapper/319:55:403
182316899121,6cyclictest0-21swapper/319:55:403
182316899121,6cyclictest0-21swapper/319:30:363
182316899120,6cyclictest0-21swapper/319:40:443
182316899111,6cyclictest0-21swapper/320:25:423
18231689981,5cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional