You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-02 - 02:32

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Sun Aug 02, 2026 00:43:08)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1587611996341,13cyclictest12650irq/32-eth023:00:550
1587611995437,5cyclictest1712972-21aten_r2power_fr23:35:410
1587613995344,6cyclictest1720067-21switchtime23:46:062
1587613995344,6cyclictest1720067-21switchtime23:46:062
1587612995343,6cyclictest1-21systemd23:10:021
1587611995312,33cyclictest1640139-21ssh21:35:510
1587611995140,5cyclictest0-21swapper/021:30:480
1587611995135,13cyclictest1596719-21latency_hist19:40:020
1587611995135,13cyclictest1596719-21latency_hist19:40:020
158761199502,39cyclictest1707521-21ssh23:25:510
158761199502,39cyclictest1707521-21ssh23:25:510
1587611995022,21cyclictest151ktimers/022:30:550
1587613994940,6cyclictest1587616-21systemd-run19:10:012
1587611994941,5cyclictest421-21dbus-daemon19:25:010
1587613994739,4cyclictest0-21swapper/200:00:022
1587613994635,8cyclictest420-21avahi-daemon19:20:022
1587613994624,18cyclictest1689478-21timerandwakeup22:56:002
1587613994623,20cyclictest0-21swapper/220:25:012
158761399461,37cyclictest1621478-21ntpq21:00:522
1587611994639,4cyclictest1623621-21systemd-run21:10:020
1587613994540,2cyclictest0-21swapper/219:40:002
1587613994540,2cyclictest0-21swapper/219:40:002
1587613994538,4cyclictest1678795-21munin-plugin-st22:40:012
1587613994538,4cyclictest1678795-21munin-plugin-st22:40:012
158761399451,36cyclictest1594470-21ntpq19:30:472
1587611994531,11cyclictest1654315-21sendmail22:00:010
1587611994529,13cyclictest1590649-21latency_hist19:20:020
1587612994436,5cyclictest1589116-21systemd-run19:15:011
1587612994432,7cyclictest0-21swapper/122:05:521
1587611994436,5cyclictest1684934-21latency_hist22:50:010
158761199442,38cyclictest1630912-21ssh21:20:510
1587613994334,6cyclictest1624066-21aten_r2power_cu21:10:402
158761399432,36cyclictest1601951-21ntpq19:55:522
158761399431,38cyclictest1713686-21ntpq23:35:552
158761399431,38cyclictest1622989-21ntpq21:05:542
1587612994334,6cyclictest1630738-21missed_timers21:20:461
1587611994335,5cyclictest1739968-21ssh00:20:010
1587611994322,8cyclictest420-21avahi-daemon00:14:430
1587611994322,8cyclictest420-21avahi-daemon00:14:430
1587613994225,13cyclictest0-21swapper/223:26:012
1587613994225,13cyclictest0-21swapper/223:26:012
158761399422,34cyclictest1606494-21ntpq20:10:532
1587613994220,19cyclictest0-21swapper/221:40:432
1587613994219,20cyclictest4072527-21cups-browsed22:32:412
158761399421,36cyclictest1615459-21ntpq20:40:502
158761399421,36cyclictest1590839-21sshd19:20:302
158761399421,35cyclictest1619984-21ntpq20:55:502
158761399421,34cyclictest1599031-21ntpq19:45:512
158761399421,34cyclictest1592961-21ntpq19:25:482
1587612994216,12cyclictest1623594-21diskmemload00:11:091
1587612994216,12cyclictest1623594-21diskmemload00:11:091
1587612994212,17cyclictest0-21swapper/119:40:491
1587612994212,17cyclictest0-21swapper/119:40:491
158761199425,30cyclictest1710657-21ssh23:30:560
1587613994132,4cyclictest0-21swapper/200:30:542
158761399412,5cyclictest171rcu_preempt00:20:522
158761399412,33cyclictest1618497-21ntpq20:50:512
158761399411,35cyclictest1734979-21ntpq00:10:492
158761399411,35cyclictest1734979-21ntpq00:10:492
158761399411,35cyclictest1732078-21ntpq00:05:592
158761399411,35cyclictest1732078-21ntpq00:05:592
158761399411,34cyclictest1613946-21ntpq20:35:462
158761399411,34cyclictest1613946-21ntpq20:35:462
1587613994112,13cyclictest1623594-21diskmemload21:19:472
1587612994133,5cyclictest1727706-21ssh00:00:011
158761399403,32cyclictest1729045-21ntpq00:00:592
158761399401,36cyclictest1600260-21/usr/sbin/munin19:50:492
158761399401,36cyclictest1597550-21ntpq19:40:552
158761399401,36cyclictest1597550-21ntpq19:40:552
158761399401,34cyclictest1639699-21/usr/sbin/munin21:35:422
158761399401,34cyclictest1611064-21ntpq20:25:522
158761299402,29cyclictest1649438-21diskmemload21:50:541
1587612994013,7cyclictest1663321-21ssh22:14:371
1587611994027,8cyclictest0-21swapper/000:20:490
158761399392,32cyclictest1658624-21ntpq22:05:572
158761399391,35cyclictest1711044-21/usr/sbin/munin23:31:022
158761399391,34cyclictest1637017-21ntpq21:30:472
158761399391,34cyclictest1631582-21ssh21:21:092
158761399391,34cyclictest1588507-21ntpq19:10:492
158761399390,34cyclictest1654734-21ssh22:00:342
158761299391,29cyclictest1670686-21ssh22:25:501
1587611993932,4cyclictest1687954-21cron22:55:000
1587611993932,4cyclictest1610182-21latency_hist20:25:020
1587611993930,4cyclictest0-21swapper/019:50:510
1587611993918,15cyclictest151ktimers/022:35:520
1587611993918,15cyclictest151ktimers/022:35:520
1587613993831,4cyclictest1739979-21sendmail00:20:012
158761399382,32cyclictest1612479-21ntpq20:30:512
158761399382,32cyclictest1612479-21ntpq20:30:512
158761399381,34cyclictest1750282-21ntpq00:35:512
158761399381,34cyclictest1679895-21ntpq22:40:482
158761399381,34cyclictest1679895-21ntpq22:40:482
158761399381,34cyclictest1664628-21ntpq22:15:512
158761399381,34cyclictest1616635-21fw_packets20:45:442
158761399381,34cyclictest1603456-21ntpq20:00:492
158761399381,33cyclictest1686147-21ntpq22:50:552
158761399381,31cyclictest1633125-21ssh21:25:122
1587612993829,6cyclictest1643786-21unixbench_multi21:41:011
1587612993822,11cyclictest1624314-21diskstats21:10:441
1587612993817,12cyclictest1627868-21ssh21:15:541
1587612993812,10cyclictest1687602-21ssh22:53:551
1587611993831,4cyclictest1605707-21latency_hist20:10:020
1587611993830,5cyclictest4072527-21cups-browsed22:10:500
1587613993728,6cyclictest1704966-21unixbench-2d23:21:062
1587613993728,6cyclictest1704966-21unixbench-2d23:21:062
158761399371,33cyclictest1745653-21ssh00:28:352
158761399371,33cyclictest1716780-21ntpq23:40:562
158761399371,33cyclictest1695208-21ntpq23:05:502
158761399371,32cyclictest1661580-21ntpq22:10:522
158761399371,32cyclictest1608034-21ntpq20:15:552
158761399371,31cyclictest1669677-21sh22:25:032
158761399371,31cyclictest1651641-21ssh21:55:322
1587612993726,9cyclictest1692305-21sh23:00:561
1587612993715,9cyclictest171rcu_preempt22:30:441
1587612993715,4cyclictest1623594-21diskmemload00:25:271
1587612993712,12cyclictest1002-21mta-sts-daemon23:46:401
1587612993712,12cyclictest1002-21mta-sts-daemon23:46:401
1587611993731,3cyclictest1724654-21debian-sa123:55:000
1587611993729,5cyclictest439-21systemd-logind20:00:010
1587611993728,5cyclictest12650irq/32-eth023:21:010
1587611993728,5cyclictest12650irq/32-eth023:21:010
1587611993725,9cyclictest1616090-21cron20:45:000
158761399362,29cyclictest1698292-21ntpq23:10:512
158761399362,29cyclictest1604957-21ntpq20:05:482
158761399361,32cyclictest1649323-21ntpq21:50:492
1587612993624,4cyclictest0-21swapper/100:00:581
1587612993623,8cyclictest428-21mta-sts-daemon20:35:481
1587612993623,8cyclictest428-21mta-sts-daemon20:35:481
1587612993613,7cyclictest1623594-21diskmemload00:37:571
1587612993610,10cyclictest1713165-21df_inode23:35:431
1587611993630,3cyclictest1718406-21kworker/u8:1-xprtiod00:00:020
1587611993628,5cyclictest420-21avahi-daemon23:08:070
1587611993628,5cyclictest1703316-21unin-run23:20:020
1587611993628,5cyclictest1703316-21unin-run23:20:020
1587611993627,6cyclictest1670013-21/usr/sbin/munin22:25:430
1587611993627,3cyclictest0-21swapper/000:35:500
1587611993620,4cyclictest1607083-21cron20:15:010
158761199361,27cyclictest1680073-21ssh22:40:570
158761199361,27cyclictest1680073-21ssh22:40:570
1587613993524,6cyclictest1002-21mta-sts-daemon23:50:552
158761399351,31cyclictest1701447-21ntpq23:15:552
158761399351,31cyclictest1701447-21ntpq23:15:552
158761399351,31cyclictest1691747-21df_inode23:00:422
158761399351,31cyclictest1682508-21grep22:45:412
158761399351,31cyclictest1646449-21open_inodes21:45:582
158761299355,20cyclictest428-21mta-sts-daemon23:15:561
158761299355,20cyclictest428-21mta-sts-daemon23:15:561
1587612993526,6cyclictest1747884-21sed00:31:071
1587612993522,7cyclictest1600437-21ntpq19:50:511
1587612993513,7cyclictest1635737-21sh21:29:281
1587611993528,4cyclictest1625332-21head21:11:030
1587611993527,5cyclictest1655751-21mailstats22:01:080
1587611993525,7cyclictest4072527-21cups-browsed21:42:100
1587611993525,4cyclictest151ktimers/000:00:540
1587611993521,3cyclictest0-21swapper/022:17:590
1587611993515,16cyclictest151ktimers/020:55:530
158761399342,26cyclictest1667776-21ntpq22:20:542
1587612993427,4cyclictest1642075-21cron21:40:001
1587612993424,6cyclictest4072524-21cupsd23:51:351
1587612993422,7cyclictest1598976-21ntpq19:45:481
1587612993420,9cyclictest1612561-21ntpq20:30:551
1587612993420,9cyclictest1612561-21ntpq20:30:551
1587612993410,7cyclictest1663765-21ssh22:15:171
1587612993410,7cyclictest1657171-21ssh22:04:271
1587612993325,5cyclictest567-21gdbus22:22:001
1587612993323,7cyclictest1676165-21/usr/sbin/munin22:36:021
1587612993323,7cyclictest1676165-21/usr/sbin/munin22:36:021
1587612993322,7cyclictest1623081-21ntpq21:05:591
1587612993320,9cyclictest1620026-21ntp_offset20:55:511
1587612993320,9cyclictest1615628-21ps20:40:581
1587612993320,8cyclictest1605059-21ntpq20:05:531
1587612993319,9cyclictest1741182-21ntpq00:20:521
1587612993319,9cyclictest1707641-21ps23:25:561
1587612993319,9cyclictest1707641-21ps23:25:561
1587612993312,16cyclictest1652417-21ssh21:55:521
1587612993311,7cyclictest1698118-21cat23:10:461
1587612993311,15cyclictest1710642-21ssh23:30:551
1587611993323,8cyclictest1588111-21fschecks_count19:10:410
1587612993225,4cyclictest1706460-21latency_hist23:25:021
1587612993225,4cyclictest1706460-21latency_hist23:25:021
1587612993224,5cyclictest1733909-21latency_hist00:10:011
1587612993224,5cyclictest1733909-21latency_hist00:10:011
1587612993220,8cyclictest1621093-21/usr/sbin/munin21:00:421
1587612993220,6cyclictest1595992-21ntpq19:35:501
1587612993220,6cyclictest1595992-21ntpq19:35:501
1587612993219,8cyclictest1610970-21ntpq20:25:481
1587612993219,8cyclictest1607979-21ntpq20:15:531
1587612993219,8cyclictest1001-21mta-sts-daemon19:24:301
1587612993219,10cyclictest1616833-21missed_timers20:45:471
1587611993226,3cyclictest0-21swapper/023:10:420
1587611993220,9cyclictest0-21swapper/022:06:030
158761299318,8cyclictest1623594-21diskmemload21:32:571
1587612993124,4cyclictest1646852-21unixbench_multi21:46:041
1587612993121,7cyclictest1592952-21ntpq19:25:471
1587612993120,8cyclictest1618430-21ntp_kernel_err20:50:481
1587612993119,9cyclictest1682926-21/usr/sbin/munin22:45:481
1587612993119,9cyclictest1609114-21/usr/sbin/munin20:20:421
1587612993119,8cyclictest1601979-21ntpq19:55:531
1587612993119,7cyclictest1590019-21ntpq19:15:531
1587612993117,8cyclictest1680152-21ps22:40:591
1587612993117,8cyclictest1680152-21ps22:40:591
1587612993114,12cyclictest1737239-21ssh00:15:191
1587611993121,7cyclictest1607932-21ntp_kernel_err20:15:510
1587612993022,5cyclictest1689569-21timerwakeupswit22:56:011
1587612993015,11cyclictest1716625-21ntpq23:40:481
158761199309,18cyclictest1002-21mta-sts-daemon21:50:420
1587611993025,3cyclictest1732602-21grep00:06:080
1587611993025,3cyclictest1732602-21grep00:06:080
1587611993022,6cyclictest1593006-21ntp_kernel_pll_19:25:500
158761199302,22cyclictest1646472-21sh21:45:580
1587611993018,8cyclictest0-21swapper/023:40:430
1587612992920,5cyclictest1587632-21latency_hist19:10:021
1587612992917,9cyclictest421-21dbus-daemon19:30:021
1587612992917,7cyclictest1603447-21ntpq20:00:481
1587612992915,11cyclictest1606455-21ntpq20:10:511
1587611992924,3cyclictest1001-21mta-sts-daemon19:30:530
1587611992922,5cyclictest4072527-21cups-browsed22:55:490
1587611992915,11cyclictest420-21avahi-daemon20:30:570
1587611992915,11cyclictest420-21avahi-daemon20:30:570
158761199289,5cyclictest1746855-21fschecks_count00:30:470
158761199283,10cyclictest421-21dbus-daemon19:45:500
1587611992822,4cyclictest1669581-21ssh22:25:010
1587611992822,4cyclictest1627694-21missed_timers21:15:480
158761199282,20cyclictest1633970-21ssh21:25:490
1587611992820,6cyclictest4072527-21cups-browsed23:49:020
1587611992820,6cyclictest4072527-21cups-browsed23:49:020
1587611992818,7cyclictest0-21swapper/021:01:040
1587611992816,10cyclictest1619078-21cron20:55:010
1587611992720,5cyclictest443-21gpm20:35:400
1587611992720,5cyclictest443-21gpm20:35:400
1587611992718,6cyclictest0-21swapper/019:45:020
1587611992718,6cyclictest0-21swapper/019:45:020
1587611992716,9cyclictest1745908-21ssh00:29:230
1587611992418,2cyclictest0-21swapper/020:25:540
1587611992415,5cyclictest151ktimers/020:00:520
1587611992414,4cyclictest1617478-21unixbench_multi20:46:020
158761199219,9cyclictest0-21swapper/019:10:030
158761499201,8cyclictest0-21swapper/322:35:523
158761499201,8cyclictest0-21swapper/322:35:523
158761499191,9cyclictest0-21swapper/300:25:523
158761499183,9cyclictest0-21swapper/321:30:483
158761499171,9cyclictest0-21swapper/323:20:573
158761499171,9cyclictest0-21swapper/323:20:573
158761499171,9cyclictest0-21swapper/321:20:523
158761499171,10cyclictest0-21swapper/322:05:583
158761499163,7cyclictest0-21swapper/321:45:523
158761499162,8cyclictest0-21swapper/300:30:543
158761499162,7cyclictest0-21swapper/322:15:453
158761499161,9cyclictest0-21swapper/323:15:513
158761499161,9cyclictest0-21swapper/323:15:513
158761499161,9cyclictest0-21swapper/323:00:563
158761499161,9cyclictest0-21swapper/322:25:563
158761499161,8cyclictest0-21swapper/322:10:483
158761499161,8cyclictest0-21swapper/300:35:523
158761499153,9cyclictest0-21swapper/321:15:463
158761499153,8cyclictest0-21swapper/321:25:493
158761499153,6cyclictest0-21swapper/321:35:503
158761499152,8cyclictest0-21swapper/322:40:513
158761499152,8cyclictest0-21swapper/322:40:513
158761499152,7cyclictest0-21swapper/321:55:493
158761499152,7cyclictest0-21swapper/300:00:513
158761499151,9cyclictest0-21swapper/323:54:303
158761499151,9cyclictest0-21swapper/321:40:483
158761499151,9cyclictest0-21swapper/320:30:493
158761499151,9cyclictest0-21swapper/320:30:493
158761499151,8cyclictest0-21swapper/323:55:513
158761499151,8cyclictest0-21swapper/300:20:503
158761499151,7cyclictest0-21swapper/320:40:553
158761499151,7cyclictest0-21swapper/320:20:493
158761499151,10cyclictest0-21swapper/323:30:553
158761499143,7cyclictest0-21swapper/323:40:423
158761499142,8cyclictest0-21swapper/322:45:453
158761499142,8cyclictest0-21swapper/322:30:533
158761499142,7cyclictest0-21swapper/321:10:543
158761499142,6cyclictest0-21swapper/322:00:533
158761499142,6cyclictest0-21swapper/300:15:403
158761499142,5cyclictest0-21swapper/320:15:523
158761499141,8cyclictest0-21swapper/323:46:013
158761499141,8cyclictest0-21swapper/323:46:013
158761499141,8cyclictest0-21swapper/323:35:513
158761499141,8cyclictest0-21swapper/323:10:503
158761499141,8cyclictest0-21swapper/323:05:583
158761499141,8cyclictest0-21swapper/321:50:513
158761499141,7cyclictest0-21swapper/322:55:483
158761499141,7cyclictest0-21swapper/322:20:503
158761499141,7cyclictest0-21swapper/320:00:493
158761499141,7cyclictest0-21swapper/319:40:523
158761499141,7cyclictest0-21swapper/319:40:523
158761499141,6cyclictest0-21swapper/319:25:493
158761499141,5cyclictest0-21swapper/319:50:523
158761499132,6cyclictest0-21swapper/300:10:393
158761499132,6cyclictest0-21swapper/300:10:393
158761499132,5cyclictest0-21swapper/320:05:513
158761499131,8cyclictest0-21swapper/300:05:503
158761499131,8cyclictest0-21swapper/300:05:503
158761499131,7cyclictest0-21swapper/322:50:493
158761499131,6cyclictest0-21swapper/320:55:493
158761499131,6cyclictest0-21swapper/319:55:593
158761499131,6cyclictest0-21swapper/319:15:513
158761499131,5cyclictest0-21swapper/319:35:483
158761499131,5cyclictest0-21swapper/319:35:483
158761499123,5cyclictest0-21swapper/321:06:003
158761499122,6cyclictest0-21swapper/320:30:023
158761499121,6cyclictest0-21swapper/323:25:383
158761499121,6cyclictest0-21swapper/323:25:383
158761499121,6cyclictest0-21swapper/321:00:523
158761499121,6cyclictest0-21swapper/320:50:493
158761499121,6cyclictest0-21swapper/320:35:503
158761499121,6cyclictest0-21swapper/320:35:503
158761499121,6cyclictest0-21swapper/319:45:493
158761499121,6cyclictest0-21swapper/319:15:013
158761499111,6cyclictest0-21swapper/320:50:023
158761499111,6cyclictest0-21swapper/319:30:503
15876149991,5cyclictest0-21swapper/320:10:463
15876149991,3cyclictest0-21swapper/319:20:493
15876149981,6cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional