You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-20 - 17:25

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Mon Apr 20, 2026 12:43:18)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1678507995345,5cyclictest1-21systemd11:20:012
1678505995332,14cyclictest12350irq/32-eth010:30:370
1678505995332,14cyclictest12350irq/32-eth010:30:370
1678506995143,5cyclictest1752024-21needreboot09:55:371
1678505995142,6cyclictest12350irq/32-eth007:40:430
1678505994922,20cyclictest12350irq/32-eth009:20:420
1678507994738,6cyclictest1-21systemd09:35:482
1678507994738,6cyclictest1-21systemd09:35:482
1678507994640,3cyclictest0-21swapper/209:45:502
1678507994635,8cyclictest1807696-21munin-plugin-st11:05:012
1678506994622,4cyclictest0-21swapper/112:05:371
167850599461,35cyclictest659-21snmpd11:15:450
167850599452,31cyclictest1752191-21ssh09:55:420
1678506994436,5cyclictest1718566-21munin-plugin-st09:15:011
1678506994433,7cyclictest548-21gdbus11:45:581
1678505994432,9cyclictest0-21swapper/012:40:010
1678505994427,9cyclictest0-21swapper/011:25:510
1678507994335,5cyclictest1787436-21munin-run10:40:002
1678506994334,6cyclictest1735306-21aten_r2power_en09:35:301
1678506994334,6cyclictest1735306-21aten_r2power_en09:35:301
1678505994326,12cyclictest12350irq/32-eth012:00:400
167850599431,34cyclictest1841236-21ssh11:45:420
1678507994234,5cyclictest1868324-21systemd-run12:20:012
1678507994233,6cyclictest1849914-21head11:55:532
167850699423,30cyclictest1739998-21ssh09:40:441
167850699423,30cyclictest1739998-21ssh09:40:441
1678505994233,7cyclictest1807712-21sh11:05:010
1678505994227,12cyclictest1698050-21latency_hist08:15:020
1678505994210,20cyclictest428-21mta-sts-daemon08:40:460
1678506994117,4cyclictest0-21swapper/107:55:411
1678507994031,5cyclictest1771264-21sh10:20:012
1678507994026,7cyclictest1711503-21sh09:00:012
1678506994031,6cyclictest856451-21cupsd11:20:481
1678506994029,8cyclictest1711470-21/usr/sbin/munin09:00:021
1678507993931,5cyclictest1884550-21latency_hist12:40:022
1678507993931,5cyclictest1709578-21mailstats08:50:482
1678506993931,5cyclictest1720356-21unixbench-2d09:15:521
1678506993931,5cyclictest1703996-21systemd-run08:35:011
1678506993931,5cyclictest1703996-21systemd-run08:35:011
1678506993931,5cyclictest1699523-21systemd-run08:20:011
1678506993930,6cyclictest420-21avahi-daemon07:45:011
1678505993932,5cyclictest421-21dbus-daemon10:10:010
1678505993932,5cyclictest1823888-21ssh11:25:010
1678505993922,10cyclictest12350irq/32-eth011:40:480
1678507993829,6cyclictest1694995-21cut08:05:012
1678506993831,4cyclictest1803682-21latency_hist11:00:021
1678506993827,8cyclictest1853755-21/usr/sbin/munin12:00:511
1678506993827,8cyclictest1731705-21latency09:30:361
1678506993824,10cyclictest1763946-21sort10:10:331
1678505993831,4cyclictest151ktimers/010:00:450
1678505993829,6cyclictest151ktimers/009:45:500
167850599381,33cyclictest1857389-21ssh12:05:390
1678507993729,5cyclictest1724528-21head09:20:532
1678507993728,7cyclictest695-21cron11:55:012
1678507993728,6cyclictest1771851-21aten_r2power_po10:20:292
1678507993728,5cyclictest1055-21mta-sts-daemon10:31:462
1678507993728,5cyclictest1055-21mta-sts-daemon10:31:462
1678507993727,6cyclictest1828995-21needreboot11:30:362
1678506993728,6cyclictest1811765-21ssh11:10:021
167850699372,28cyclictest1788717-21ssh10:40:411
167850599378,25cyclictest1776568-21ssh10:25:420
1678505993729,5cyclictest1811937-21latency_hist11:10:030
1678505993727,7cyclictest420-21avahi-daemon12:10:330
1678505993727,5cyclictest0-21swapper/009:35:440
1678505993727,5cyclictest0-21swapper/009:35:440
1678505993726,8cyclictest1833392-21mailstats11:35:510
167850599371,30cyclictest1796864-21ssh10:50:430
1678507993628,5cyclictest1877151-21rm12:30:322
1678507993628,5cyclictest1839986-21ssh11:45:012
1678507993628,5cyclictest1823914-21wc11:25:022
1678507993628,5cyclictest1815773-21ls11:15:012
1678507993628,5cyclictest1815773-21ls11:15:012
1678507993628,5cyclictest1681488-21ls07:20:012
1678507993623,10cyclictest1714508-21unin-run09:10:012
1678506993628,5cyclictest1837745-21grep11:40:531
1678506993628,5cyclictest1054-21mta-sts-daemon11:14:451
1678506993628,5cyclictest1054-21mta-sts-daemon11:14:451
1678506993627,6cyclictest420-21avahi-daemon07:25:481
1678506993627,6cyclictest1705516-21systemd-run08:40:011
1678506993627,6cyclictest1705516-21systemd-run08:40:011
1678506993626,7cyclictest261-21systemd-journal11:31:321
1678505993629,4cyclictest1722693-21latency_hist09:20:020
1678505993617,14cyclictest624-21lldpd11:31:290
167850799353,28cyclictest1861433-21ssh12:10:412
1678507993527,5cyclictest1779361-21munin-plugin-st10:30:012
1678506993528,4cyclictest0-21swapper/112:20:011
1678506993527,5cyclictest1701326-21aten_r2power_fr08:25:291
1678506993526,6cyclictest1833289-21sh11:35:501
167850699352,25cyclictest1873596-21ssh12:25:411
1678505993529,3cyclictest0-21swapper/009:25:450
1678505993529,3cyclictest0-21swapper/009:10:010
1678505993528,4cyclictest1852111-21awk12:00:000
1678505993521,5cyclictest151ktimers/010:45:430
1678507993427,4cyclictest0-21swapper/212:10:002
1678507993427,3cyclictest0-21swapper/209:35:012
1678507993426,5cyclictest1841023-21cat11:45:362
1678507993426,5cyclictest1791514-21cron10:45:002
1678507993425,6cyclictest420-21avahi-daemon10:47:232
1678507993425,5cyclictest1-21systemd09:10:482
167850699343,23cyclictest1784628-21ssh10:35:421
1678506993428,2cyclictest0-21swapper/109:10:011
1678506993426,5cyclictest1864274-21latency_hist12:15:021
1678506993426,5cyclictest1824793-21kernelversion11:25:341
1678506993425,5cyclictest1-21systemd07:40:011
167850699342,23cyclictest1744231-21ssh09:45:511
1678506993417,13cyclictest271ktimers/107:10:381
1678505993426,5cyclictest420-21avahi-daemon09:30:500
1678505993423,7cyclictest1868318-21systemd-run12:20:010
167850799337,7cyclictest171rcu_preempt09:55:392
1678507993314,16cyclictest351ktimers/207:55:412
1678506993326,4cyclictest1781181-21sed10:30:501
1678506993326,4cyclictest1781181-21sed10:30:501
1678506993326,3cyclictest0-21swapper/110:00:331
1678506993325,5cyclictest856456-21cups-browsed11:03:111
1678506993325,5cyclictest1697993-21systemd-run08:15:011
1678506993324,7cyclictest1869915-21timerandwakeup12:20:491
1678506993322,2cyclictest0-21swapper/108:50:381
167850699331,29cyclictest1877653-21ssh12:30:421
167850699331,23cyclictest1849334-21ssh11:55:431
1678505993326,4cyclictest1880597-21latency_hist12:35:020
1678505993320,10cyclictest0-21swapper/007:10:350
1678505993313,16cyclictest1813258-21sensors11:10:500
1678505993313,16cyclictest1813258-21sensors11:10:500
167850799324,21cyclictest1739980-21ssh09:40:432
167850799324,21cyclictest1739980-21ssh09:40:432
1678507993225,3cyclictest0-21swapper/209:50:392
1678507993222,6cyclictest420-21avahi-daemon11:27:032
167850699325,18cyclictest428-21mta-sts-daemon07:45:391
1678506993225,4cyclictest1681962-21cpuspeed07:20:311
1678506993224,5cyclictest856456-21cups-browsed09:25:391
1678506993224,4cyclictest0-21swapper/110:25:011
1678506993222,7cyclictest420-21avahi-daemon10:19:051
1678506993222,7cyclictest1799596-21cron10:55:011
167850599325,19cyclictest12350irq/32-eth012:25:390
167850599324,18cyclictest12350irq/32-eth009:10:430
1678505993225,5cyclictest1801272-21timerandwakeup10:55:550
1678505993225,4cyclictest1742839-21systemd-run09:45:010
1678505993225,4cyclictest1742839-21systemd-run09:45:010
1678505993223,6cyclictest1683016-21sh07:25:010
167850599321,24cyclictest659-21snmpd11:50:410
167850599321,24cyclictest1772488-21ssh10:20:410
167850799313,22cyclictest856456-21cups-browsed10:55:502
1678507993125,4cyclictest1051-21mta-sts-daemon07:35:392
1678507993123,3cyclictest0-21swapper/210:13:132
1678507993122,5cyclictest1873333-21latency12:25:352
1678506993123,5cyclictest1819797-21cron11:20:001
1678506993122,7cyclictest1691757-21timerwakeupswit07:50:491
167850599313,21cyclictest1869469-21ssh12:20:370
1678507993025,2cyclictest0-21swapper/209:30:002
1678507993024,3cyclictest0-21swapper/209:20:012
1678507993024,3cyclictest0-21swapper/208:15:012
1678507993023,4cyclictest1808174-21aten_r2power_cu11:05:292
1678507993022,5cyclictest856456-21cups-browsed10:05:532
1678507993018,10cyclictest351ktimers/208:25:382
1678506993024,3cyclictest0-21swapper/110:25:371
1678506993020,7cyclictest1748541-21timerandwakeup09:50:511
1678506993017,9cyclictest421-21dbus-daemon08:20:431
167850599304,17cyclictest659-21snmpd10:10:420
1678505993022,5cyclictest421-21dbus-daemon08:35:010
1678505993022,5cyclictest421-21dbus-daemon08:35:010
1678505993021,7cyclictest1700034-21fschecks_time08:20:320
167850599301,23cyclictest856451-21cupsd10:17:240
167850799295,6cyclictest171rcu_preempt09:00:392
167850799292,20cyclictest1755902-21ssh10:00:332
1678507992921,5cyclictest1690429-21unixbench_singl07:45:502
1678507992920,6cyclictest261-21systemd-journal12:20:032
1678507992919,7cyclictest1856172-21cron12:05:002
1678507992919,7cyclictest1696486-21cut08:10:022
1678506992922,3cyclictest0-21swapper/110:50:011
167850699291,21cyclictest1845266-21ssh11:50:421
1678505992924,2cyclictest0-21swapper/009:50:330
1678505992923,4cyclictest1681383-21tail07:15:490
1678505992921,5cyclictest421-21dbus-daemon08:00:010
1678505992918,6cyclictest1788809-21ssh10:40:450
167850799283,6cyclictest171rcu_preempt07:10:422
1678507992821,4cyclictest1698505-21fschecks_time08:15:332
1678507992821,3cyclictest0-21swapper/210:55:012
167850699282,20cyclictest1707887-21sendmail-mta08:45:411
1678506992820,5cyclictest856456-21cups-browsed10:05:091
1678506992820,5cyclictest1668686-21kworker/u8:5+xprtiod07:35:001
1678506992820,5cyclictest1668686-21kworker/u8:5+xprtiod07:35:001
1678506992818,8cyclictest1722625-21sh09:20:031
167850699281,18cyclictest1881218-21sh12:35:331
167850799274,14cyclictest1054-21mta-sts-daemon07:30:442
167850799274,14cyclictest1054-21mta-sts-daemon07:30:442
1678507992720,3cyclictest0-21swapper/207:40:432
1678507992719,4cyclictest1740135-21kworker/u8:2-nfsiod11:35:332
1678506992720,4cyclictest1054-21mta-sts-daemon09:01:491
1678506992719,5cyclictest439-21systemd-logind08:10:011
1678506992719,5cyclictest1706010-21fschecks_count08:40:371
1678505992722,2cyclictest0-21swapper/007:10:010
1678505992714,9cyclictest151ktimers/008:50:400
1678507992619,4cyclictest1056-21mta-sts-daemon07:24:552
1678507992617,6cyclictest1051-21mta-sts-daemon08:35:432
1678507992617,6cyclictest1051-21mta-sts-daemon08:35:432
1678507992616,7cyclictest439-21systemd-logind07:55:012
1678506992621,2cyclictest0-21swapper/107:20:011
167850599262,20cyclictest659-21snmpd08:25:390
1678505992620,3cyclictest0-21swapper/010:35:350
1678505992618,6cyclictest1690265-21timerwakeupswit07:45:500
167850799258,8cyclictest1683916-21ntpq07:25:422
1678505992518,5cyclictest0-21swapper/007:55:010
1678505992511,6cyclictest1685981-21munin-plugin-st07:35:000
1678505992511,6cyclictest1685981-21munin-plugin-st07:35:000
1678507992417,4cyclictest1702948-21cpuspeed08:30:302
1678507992417,4cyclictest1702948-21cpuspeed08:30:302
1678506992411,10cyclictest421-21dbus-daemon08:05:011
167850599242,16cyclictest1683842-21ntpq07:25:390
1678505992418,4cyclictest0-21swapper/009:00:010
1678505992418,3cyclictest151ktimers/008:00:440
1678505992418,3cyclictest0-21swapper/008:15:430
1678505992412,9cyclictest1056-21mta-sts-daemon08:35:460
1678505992412,9cyclictest1056-21mta-sts-daemon08:35:460
167850799237,5cyclictest1708473-21cron08:50:002
1678507992317,3cyclictest0-21swapper/208:45:002
1678505992319,2cyclictest0-21swapper/007:35:310
1678505992317,4cyclictest1055-21mta-sts-daemon08:45:340
1678505992312,8cyclictest0-21swapper/009:00:460
167850799222,15cyclictest1700418-21ntpq08:20:412
1678505992217,2cyclictest0-21swapper/008:10:010
167850799187,8cyclictest421-21dbus-daemon07:10:012
167850699182,11cyclictest421-21dbus-daemon07:10:011
167850899172,9cyclictest0-21swapper/311:35:513
167850899171,9cyclictest0-21swapper/309:10:453
167850899162,9cyclictest0-21swapper/309:50:443
167850899162,8cyclictest0-21swapper/309:20:423
167850899162,7cyclictest0-21swapper/312:30:463
167850899153,9cyclictest0-21swapper/310:15:303
167850899153,8cyclictest0-21swapper/309:35:453
167850899153,8cyclictest0-21swapper/309:35:453
167850899152,6cyclictest0-21swapper/307:40:413
167850899151,7cyclictest0-21swapper/307:45:433
167850899143,7cyclictest0-21swapper/312:10:413
167850899143,6cyclictest0-21swapper/312:20:393
167850899142,7cyclictest0-21swapper/311:05:033
167850899142,7cyclictest0-21swapper/310:35:483
167850899142,7cyclictest0-21swapper/308:05:013
167850899142,6cyclictest0-21swapper/312:35:433
167850899141,8cyclictest0-21swapper/312:25:403
167850899141,8cyclictest0-21swapper/312:00:393
167850899141,8cyclictest0-21swapper/311:50:383
167850899141,7cyclictest0-21swapper/311:45:393
167850899141,7cyclictest0-21swapper/311:20:423
167850899141,7cyclictest0-21swapper/310:25:433
167850899141,7cyclictest0-21swapper/310:05:413
167850899141,7cyclictest0-21swapper/308:50:403
167850899141,7cyclictest0-21swapper/307:50:373
167850899141,7cyclictest0-21swapper/307:15:403
167850899141,6cyclictest0-21swapper/309:05:383
167850899141,6cyclictest0-21swapper/309:00:353
167850899141,6cyclictest0-21swapper/308:45:413
167850899141,6cyclictest0-21swapper/308:10:393
167850899141,6cyclictest0-21swapper/307:35:383
167850899141,6cyclictest0-21swapper/307:20:433
167850899132,8cyclictest0-21swapper/309:40:413
167850899132,8cyclictest0-21swapper/309:40:413
167850899132,7cyclictest0-21swapper/311:30:443
167850899132,7cyclictest0-21swapper/310:40:343
167850899132,7cyclictest0-21swapper/310:00:013
167850899132,7cyclictest0-21swapper/308:40:013
167850899132,7cyclictest0-21swapper/308:40:013
167850899131,9cyclictest0-21swapper/312:15:383
167850899131,7cyclictest0-21swapper/312:05:413
167850899131,7cyclictest0-21swapper/311:25:323
167850899131,7cyclictest0-21swapper/310:45:293
167850899131,7cyclictest0-21swapper/310:15:023
167850899131,6cyclictest0-21swapper/310:30:273
167850899131,6cyclictest0-21swapper/310:30:273
167850899131,6cyclictest0-21swapper/308:55:383
167850899131,6cyclictest0-21swapper/308:30:393
167850899131,6cyclictest0-21swapper/308:30:393
167850899131,6cyclictest0-21swapper/308:20:383
167850899131,5cyclictest0-21swapper/308:05:383
167850899130,7cyclictest0-21swapper/311:55:433
167850899130,6cyclictest0-21swapper/307:55:423
167850899123,4cyclictest0-21swapper/308:40:453
167850899122,7cyclictest0-21swapper/310:50:343
167850899121,8cyclictest0-21swapper/311:15:303
167850899121,8cyclictest0-21swapper/311:10:383
167850899121,8cyclictest0-21swapper/311:10:383
167850899121,8cyclictest0-21swapper/311:10:023
167850899121,8cyclictest0-21swapper/310:55:373
167850899121,8cyclictest0-21swapper/309:15:343
167850899121,7cyclictest0-21swapper/310:20:333
167850899121,7cyclictest0-21swapper/309:45:423
167850899121,7cyclictest0-21swapper/309:25:423
167850899121,6cyclictest0-21swapper/311:40:483
167850899121,6cyclictest0-21swapper/308:25:403
167850899112,6cyclictest0-21swapper/310:00:273
167850899111,6cyclictest0-21swapper/309:30:293
167850899111,5cyclictest0-21swapper/307:25:403
167850899110,6cyclictest0-21swapper/308:15:433
16785089993,4cyclictest0-21swapper/307:10:373
16785089991,5cyclictest0-21swapper/307:30:393
16785089991,5cyclictest0-21swapper/307:30:393
16785089981,4cyclictest0-21swapper/307:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional