You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-20 - 00:24

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Sun Jul 19, 2026 12:43:14)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1520343996863,2cyclictest0-21swapper/111:30:441
1520343995750,3cyclictest1530912-21kworker/u8:6-xprtiod07:47:071
1520343995750,3cyclictest1530912-21kworker/u8:6-xprtiod07:47:071
1520344995641,12cyclictest694-21cron09:20:012
152034299528,31cyclictest1597049-21ssh10:15:420
152034499494,33cyclictest1657262-21sshd11:55:512
1520343994941,5cyclictest1658980-21sendmail12:00:011
152034499484,36cyclictest1633155-21ssh11:15:482
1520344994834,11cyclictest1605992-21sh10:30:432
1520343994838,5cyclictest0-21swapper/112:35:451
1520343994838,5cyclictest0-21swapper/112:35:451
1520344994740,3cyclictest0-21swapper/209:40:012
152034499473,34cyclictest1585011-21ssh09:55:472
1520343994737,5cyclictest0-21swapper/110:05:451
1520343994737,5cyclictest0-21swapper/110:05:451
1520343994737,4cyclictest0-21swapper/112:20:511
1520342994741,4cyclictest1670931-21ssh12:20:010
152034399465,33cyclictest1572803-21ssh09:35:471
1520343994638,5cyclictest1670948-21munin-run12:20:011
1520344994536,5cyclictest1679940-21cut12:35:012
1520344994435,6cyclictest1682936-21grep12:40:012
1520344994435,6cyclictest1682936-21grep12:40:012
1520344994435,5cyclictest1536915-21systemd-run08:05:012
1520343994438,3cyclictest0-21swapper/111:20:011
1520342994334,7cyclictest1586863-21munin-run10:00:010
1520344994232,6cyclictest1609632-21unixbench_singl10:35:562
1520343994235,3cyclictest0-21swapper/112:10:011
1520343994228,5cyclictest0-21swapper/110:35:461
1520342994236,4cyclictest1556388-21diskmemload11:05:550
1520342994235,4cyclictest1644377-21aten_r2power_cu11:35:310
1520344994132,4cyclictest0-21swapper/211:10:012
1520344994131,7cyclictest420-21avahi-daemon08:10:532
1520343994129,9cyclictest1647440-21aten2.4-expect11:40:321
1520344994030,7cyclictest1672228-21sshd12:20:512
1520344994030,6cyclictest420-21avahi-daemon09:49:152
1520343994032,5cyclictest1530903-21systemd-run07:45:011
1520343994032,4cyclictest1003-21mta-sts-daemon11:25:471
1520343994027,10cyclictest1576047-21mailstats09:40:501
1520342994029,3cyclictest1536917-21systemd08:05:010
1520342994024,13cyclictest724506-21cups-browsed11:05:020
1520344993933,2cyclictest0-21swapper/209:50:552
1520344993931,5cyclictest1565563-21systemd-run09:25:012
1520344993930,6cyclictest1-21systemd12:15:022
1520344993929,6cyclictest1001-21mta-sts-daemon10:56:562
1520343993932,5cyclictest1526918-21fschecks_time07:30:381
1520343993929,5cyclictest1000-21mta-sts-daemon09:26:411
1520342993931,5cyclictest420-21avahi-daemon09:32:540
1520344993831,4cyclictest1595999-21latency_hist10:15:012
1520344993831,4cyclictest1595999-21latency_hist10:15:012
1520344993830,5cyclictest724506-21cups-browsed08:15:492
1520344993829,6cyclictest1646975-21sendmail11:40:002
1520343993832,3cyclictest0-21swapper/111:00:021
1520343993831,5cyclictest1520341-21cyclictest09:15:021
1520343993831,5cyclictest1520341-21cyclictest09:15:021
1520343993831,3cyclictest0-21swapper/109:30:431
1520343993830,5cyclictest1626668-21gltestperf11:05:361
1520343993822,11cyclictest1593936-21needreboot10:10:401
1520343993822,11cyclictest1593936-21needreboot10:10:401
1520342993831,4cyclictest1662495-21aten_r2power_po12:05:330
1520342993831,4cyclictest1535501-21latency_hist08:00:020
1520342993830,5cyclictest1575216-21aten_r2power_fr09:40:320
1520342993829,6cyclictest1541380-21cron08:20:010
1520342993829,5cyclictest421-21dbus-daemon12:12:460
152034299382,30cyclictest724506-21cups-browsed11:10:440
1520344993728,6cyclictest421-21dbus-daemon09:30:012
1520344993725,7cyclictest0-21swapper/210:05:422
1520344993725,7cyclictest0-21swapper/210:05:422
152034399373,6cyclictest171rcu_preempt10:20:471
152034399373,4cyclictest171rcu_preempt11:50:461
1520343993727,5cyclictest1678437-21timerandwakeup12:30:551
1520342993731,4cyclictest1574706-21munin-run09:40:010
1520342993731,4cyclictest1000-21mta-sts-daemon10:27:060
1520342993731,3cyclictest0-21swapper/011:55:440
1520342993730,5cyclictest1001-21mta-sts-daemon08:35:460
1520342993730,4cyclictest0-21swapper/011:22:510
1520342993729,5cyclictest421-21dbus-daemon07:50:010
1520342993729,5cyclictest421-21dbus-daemon07:50:010
1520342993729,5cyclictest1565704-21latency_hist09:25:020
1520342993727,4cyclictest0-21swapper/007:40:460
1520342993721,11cyclictest1560573-21ssh09:15:490
1520344993628,5cyclictest1601967-21latency_hist10:25:012
1520344993628,5cyclictest1558040-21grep09:10:552
1520344993628,5cyclictest1558040-21grep09:10:552
1520343993630,3cyclictest0-21swapper/110:00:021
1520343993630,3cyclictest0-21swapper/108:35:011
1520343993628,5cyclictest1556413-21systemd-run09:10:011
1520343993628,5cyclictest1556413-21systemd-run09:10:011
1520342993627,6cyclictest1614889-21missed_timers10:45:400
1520342993627,6cyclictest12650irq/32-eth010:05:430
1520342993627,6cyclictest12650irq/32-eth010:05:430
1520344993526,6cyclictest421-21dbus-daemon10:45:352
1520344993525,7cyclictest1670948-21/usr/sbin/munin12:20:012
1520344993522,9cyclictest1636525-21timerwakeupswit11:20:552
1520343993525,7cyclictest1646951-21cron11:40:001
1520343993524,7cyclictest1660024-21ntp_kernel_err12:00:441
1520342993529,4cyclictest1554917-21systemd-run09:05:010
1520342993529,4cyclictest1554917-21systemd-run09:05:010
1520342993529,3cyclictest0-21swapper/010:45:010
1520342993528,4cyclictest1568587-21sh09:30:010
1520342993527,5cyclictest724503-21cupsd10:20:170
1520342993527,5cyclictest420-21avahi-daemon11:28:540
1520342993520,3cyclictest171rcu_preempt10:10:460
1520342993520,3cyclictest171rcu_preempt10:10:460
152034499344,25cyclictest1530411-21sshd07:40:512
1520344993427,4cyclictest0-21swapper/210:15:342
1520344993425,6cyclictest1-21systemd10:30:012
1520344993424,7cyclictest1660179-21sh12:00:492
1520344993422,8cyclictest1000-21mta-sts-daemon11:50:362
152034399344,23cyclictest1603718-21ssh10:26:001
1520343993427,4cyclictest1002-21mta-sts-daemon09:24:481
1520343993427,3cyclictest0-21swapper/110:00:391
1520343993426,3cyclictest0-21swapper/110:20:001
1520343993425,5cyclictest0-21swapper/111:10:471
1520343993410,3cyclictest171rcu_preempt12:10:491
1520342993424,7cyclictest1544910-21fschecks_count08:30:360
1520342993422,9cyclictest0-21swapper/009:10:360
1520342993422,9cyclictest0-21swapper/009:10:360
152034299341,16cyclictest14-21ksoftirqd/007:35:410
152034499333,22cyclictest1612029-21ssh10:40:442
1520344993325,5cyclictest1551449-21sendmail_mailst08:50:482
1520344993325,5cyclictest1537250-21aten_r2power_po08:05:352
1520344993324,6cyclictest421-21dbus-daemon08:40:562
1520344993323,6cyclictest1554888-21latency_hist09:05:002
1520344993323,6cyclictest1554888-21latency_hist09:05:002
152034499332,24cyclictest1616954-21kworker/u8:0+rpciod11:45:472
152034499332,24cyclictest1569733-21ssh09:30:452
1520344993314,3cyclictest171rcu_preempt11:00:422
1520343993328,2cyclictest0-21swapper/111:45:561
1520343993325,5cyclictest1002-21mta-sts-daemon10:50:021
1520343993324,6cyclictest1618235-21sendmail_mailqu10:50:501
1520342993325,6cyclictest1619936-21cut10:55:020
152034499323,21cyclictest1575841-21ssh09:40:432
1520344993224,5cyclictest1647685-21fschecks_time11:40:362
1520344993224,5cyclictest1547379-21munin-run08:40:012
152034499322,25cyclictest1630153-21ssh11:10:472
1520343993223,6cyclictest0-21swapper/108:20:011
1520343993223,4cyclictest0-21swapper/109:45:361
152034399322,24cyclictest1636127-21ssh11:20:471
152034399322,23cyclictest1624020-21ssh11:00:421
152034299323,22cyclictest1681141-21ssh12:35:480
152034299323,22cyclictest1681141-21ssh12:35:480
1520342993226,4cyclictest1674478-21ssh12:25:340
152034299322,25cyclictest665-21snmpd11:19:020
152034299322,23cyclictest1660220-21sshd12:00:510
1520342993219,10cyclictest151ktimers/012:30:450
1520342993218,3cyclictest171rcu_preempt07:25:450
1520342993216,13cyclictest12650irq/32-eth010:55:500
1520344993124,4cyclictest1000-21mta-sts-daemon07:15:472
1520344993124,3cyclictest0-21swapper/207:15:012
1520344993123,5cyclictest1617655-21gltestperf10:50:362
1520344993122,7cyclictest1535151-21timerwakeupswit07:55:542
1520344993122,4cyclictest0-21swapper/212:05:462
1520344993121,8cyclictest1588457-21timerwakeupswit10:00:572
1520343993125,3cyclictest0-21swapper/107:20:011
1520343993120,8cyclictest1674711-21if_err_eth012:25:381
1520342993123,6cyclictest1538388-21cut08:10:020
1520342993121,8cyclictest439-21systemd-logind08:50:010
1520342993120,3cyclictest171rcu_preempt08:50:420
1520342993114,3cyclictest171rcu_preempt11:52:130
1520344993022,5cyclictest724506-21cups-browsed07:20:572
1520344993021,7cyclictest1531741-21ntpq07:45:432
1520344993021,7cyclictest1531741-21ntpq07:45:432
1520344993021,6cyclictest566-21gmain07:25:532
1520344993021,6cyclictest421-21dbus-daemon09:10:012
1520344993021,6cyclictest421-21dbus-daemon09:10:012
152034399302,5cyclictest0-21swapper/107:50:441
1520343993025,2cyclictest0-21swapper/108:40:011
1520343993024,3cyclictest0-21swapper/108:15:011
1520343993023,3cyclictest0-21swapper/109:15:341
1520343993022,6cyclictest485-21in:imuxsock08:41:511
1520343993022,5cyclictest420-21avahi-daemon07:25:431
1520343993022,5cyclictest1611476-21aten_r2power_po10:40:341
1520343993019,8cyclictest1536288-21ntp_kernel_pll_08:00:451
152034299306,21cyclictest191rcuc/007:10:010
1520342993024,4cyclictest1543418-21fschecks_count08:25:370
1520342993022,6cyclictest1652966-21latency_hist11:50:020
1520342993021,5cyclictest0-21swapper/010:30:560
1520342993019,8cyclictest191rcuc/007:30:450
1520342993019,2cyclictest171rcu_preempt09:50:430
1520342993016,3cyclictest171rcu_preempt07:15:460
1520342993013,14cyclictest1-21systemd10:00:330
1520344992922,4cyclictest1001-21mta-sts-daemon11:26:482
1520344992920,6cyclictest420-21avahi-daemon07:30:412
1520344992918,8cyclictest1641489-21aten_r2power_po11:30:342
1520343992922,4cyclictest1551626-21timerandwakeup08:50:521
1520343992918,8cyclictest1524161-21needreboot07:20:411
152034299293,6cyclictest14-21ksoftirqd/010:35:430
1520342992923,4cyclictest1556388-21diskmemload11:30:410
1520342992922,5cyclictest724506-21cups-browsed09:45:120
1520342992919,7cyclictest151ktimers/009:05:410
1520342992919,7cyclictest151ktimers/009:05:410
1520342992919,4cyclictest1672141-21ntp_states12:20:480
1520344992822,3cyclictest0-21swapper/208:45:342
1520344992821,4cyclictest1543536-21kernelversion08:25:402
1520344992816,9cyclictest1553099-21timerandwakeup08:55:542
1520344992816,9cyclictest1553099-21timerandwakeup08:55:542
1520343992822,3cyclictest1553368-21latency_hist09:00:001
1520343992822,3cyclictest1553368-21latency_hist09:00:001
1520343992821,4cyclictest1607930-21cron10:35:011
1520343992821,3cyclictest0-21swapper/109:50:561
1520343992820,5cyclictest427-21polkitd07:10:511
1520343992820,5cyclictest1534277-21aten_r2power_vo07:55:341
1520343992820,5cyclictest1520353-21systemd-run07:10:011
1520343992818,6cyclictest1528213-21aten_r2power_fr07:35:331
152034299288,8cyclictest14-21ksoftirqd/011:40:430
152034299288,13cyclictest171rcu_preempt08:20:420
1520342992818,3cyclictest171rcu_preempt07:20:480
1520342992814,3cyclictest171rcu_preempt08:40:440
1520344992720,4cyclictest1533880-21munin-plugin-st07:55:002
152034299276,5cyclictest14-21ksoftirqd/007:10:340
1520342992721,4cyclictest1532610-21/usr/sbin/munin07:50:530
1520342992720,5cyclictest421-21dbus-daemon08:55:380
1520342992720,5cyclictest421-21dbus-daemon08:55:380
1520344992617,7cyclictest1674483-21aten_r2power_po12:25:342
1520344992617,5cyclictest1542248-21ntp_kernel_err08:20:402
152034399262,6cyclictest171rcu_preempt08:05:481
1520343992620,3cyclictest1003-21mta-sts-daemon08:24:161
1520343992618,5cyclictest1549425-21fschecks_time08:45:361
1520342992619,3cyclictest171rcu_preempt08:10:410
1520344992417,4cyclictest1528723-21ntp_kernel_err07:35:412
1520344992415,6cyclictest1544734-21basename08:30:342
1520343992315,6cyclictest1554743-21grep09:00:541
1520343992315,6cyclictest1554743-21grep09:00:541
1520343992217,2cyclictest0-21swapper/108:25:431
1520344992012,6cyclictest265-21systemd-journal07:10:022
152034599173,7cyclictest0-21swapper/311:15:443
152034599171,3cyclictest0-21swapper/311:45:473
152034599163,7cyclictest0-21swapper/310:15:443
152034599163,6cyclictest0-21swapper/307:47:063
152034599163,6cyclictest0-21swapper/307:47:063
152034599163,5cyclictest0-21swapper/310:20:473
152034599162,7cyclictest0-21swapper/312:25:433
152034599162,7cyclictest0-21swapper/311:35:463
152034599162,7cyclictest0-21swapper/311:00:443
152034599162,7cyclictest0-21swapper/307:10:453
152034599154,6cyclictest0-21swapper/312:15:513
152034599153,6cyclictest0-21swapper/311:25:363
152034599152,8cyclictest0-21swapper/312:00:513
152034599152,7cyclictest0-21swapper/312:20:513
152034599151,8cyclictest0-21swapper/309:45:453
152034599144,6cyclictest0-21swapper/309:10:443
152034599144,6cyclictest0-21swapper/309:10:443
152034599143,6cyclictest0-21swapper/310:45:423
152034599143,6cyclictest0-21swapper/310:35:463
152034599142,8cyclictest0-21swapper/307:40:463
152034599142,7cyclictest0-21swapper/311:30:463
152034599142,7cyclictest0-21swapper/310:30:463
152034599142,7cyclictest0-21swapper/309:30:443
152034599142,4cyclictest0-21swapper/309:20:443
152034599141,8cyclictest0-21swapper/309:35:403
152034599141,8cyclictest0-21swapper/307:28:503
152034599141,7cyclictest0-21swapper/312:05:443
152034599141,6cyclictest0-21swapper/308:45:433
152034599140,6cyclictest0-21swapper/307:15:443
152034599133,4cyclictest0-21swapper/309:05:433
152034599133,4cyclictest0-21swapper/309:05:433
152034599132,7cyclictest0-21swapper/312:30:393
152034599132,7cyclictest0-21swapper/310:10:013
152034599132,7cyclictest0-21swapper/310:10:013
152034599132,7cyclictest0-21swapper/310:00:393
152034599132,7cyclictest0-21swapper/309:53:513
152034599132,7cyclictest0-21swapper/309:40:323
152034599132,6cyclictest0-21swapper/312:10:423
152034599132,6cyclictest0-21swapper/310:25:373
152034599132,6cyclictest0-21swapper/309:25:433
152034599132,5cyclictest0-21swapper/307:20:483
152034599131,7cyclictest0-21swapper/311:10:403
152034599131,7cyclictest0-21swapper/310:55:463
152034599131,7cyclictest0-21swapper/310:50:403
152034599131,6cyclictest0-21swapper/310:40:333
152034599123,5cyclictest0-21swapper/311:20:473
152034599122,6cyclictest0-21swapper/311:55:333
152034599122,5cyclictest0-21swapper/308:05:473
152034599121,8cyclictest0-21swapper/310:10:333
152034599121,8cyclictest0-21swapper/310:10:333
152034599121,7cyclictest0-21swapper/311:55:023
152034599121,7cyclictest0-21swapper/311:40:423
152034599121,7cyclictest0-21swapper/311:05:323
152034599121,7cyclictest0-21swapper/308:20:363
152034599121,6cyclictest0-21swapper/309:55:333
152034599121,6cyclictest0-21swapper/309:00:413
152034599121,6cyclictest0-21swapper/309:00:413
152034599121,6cyclictest0-21swapper/308:55:013
152034599121,6cyclictest0-21swapper/308:40:443
152034599121,6cyclictest0-21swapper/308:10:423
152034599121,6cyclictest0-21swapper/308:00:433
152034599121,6cyclictest0-21swapper/307:55:423
152034599121,6cyclictest0-21swapper/307:40:013
152034599112,5cyclictest0-21swapper/308:35:443
152034599111,7cyclictest0-21swapper/309:15:413
152034599111,7cyclictest0-21swapper/308:35:023
152034599111,7cyclictest0-21swapper/308:20:013
152034599111,6cyclictest0-21swapper/312:35:323
152034599111,6cyclictest0-21swapper/312:35:323
152034599111,6cyclictest0-21swapper/307:50:493
152034599103,5cyclictest0-21swapper/307:30:443
152034599102,6cyclictest0-21swapper/308:25:433
152034599102,5cyclictest0-21swapper/308:55:493
152034599102,5cyclictest0-21swapper/308:55:493
15203459982,5cyclictest0-21swapper/307:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional