You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-29 - 13:37

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Mon Jun 29, 2026 12:43:23)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1614189995546,4cyclictest0-21swapper/211:15:412
1614189995434,17cyclictest1676352-21unixbench_multi09:50:452
161418999522,36cyclictest1758420-21ssh12:05:332
161418799526,36cyclictest151ktimers/011:25:350
1614189995140,6cyclictest1734838-21sshd11:26:222
1614188995042,5cyclictest1674796-21systemd09:50:021
1614189994830,14cyclictest1680971-21systemd-run10:00:012
161418899474,30cyclictest1767609-21ssh12:20:341
1614189994628,15cyclictest421-21dbus-daemon12:20:012
161418899461,7cyclictest171rcu_preempt11:50:371
1614189994526,16cyclictest1714943-21acpi10:55:232
1614189994526,16cyclictest1714943-21acpi10:55:232
1614189994522,19cyclictest1619211-21fschecks_time07:25:242
161418999452,12cyclictest1743180-21ssh11:40:352
161418899452,36cyclictest1715663-21sh10:55:361
161418899452,36cyclictest1715663-21sh10:55:361
1614189994433,6cyclictest1748837-21/usr/sbin/munin11:50:252
1614189994424,17cyclictest1641202-21systemd-run08:40:012
1614189994421,19cyclictest420-21avahi-daemon10:13:182
161418999442,10cyclictest1767678-21ssh12:20:362
1614189994418,22cyclictest0-21swapper/209:40:382
1614189994417,23cyclictest1668630-21latency_hist09:40:012
1614189994415,3cyclictest0-21swapper/210:15:352
1614188994436,5cyclictest1736958-21needreboot11:30:301
1614188994432,8cyclictest1714605-21systemd-run10:55:011
161418999433,9cyclictest1731035-21ntpq11:20:372
1614189994333,6cyclictest1723791-21systemd-run11:10:012
1614189994333,6cyclictest1723791-21systemd-run11:10:012
1614189994332,7cyclictest1659432-21munin-plugin-st09:25:002
1614189994324,15cyclictest421-21dbus-daemon12:11:412
161418999432,14cyclictest1643633-21ntpq08:45:372
161418999431,15cyclictest1637528-21ntpq08:25:312
161418999431,14cyclictest1712710-21ntpq10:50:402
161418899433,33cyclictest1633122-21sshd08:10:401
161418999424,7cyclictest1672711-21ssh09:45:312
161418999424,14cyclictest1703393-21ntpq10:35:342
161418999423,8cyclictest1622577-21ntpq07:35:352
1614189994234,5cyclictest1742092-21munin-run11:40:012
1614189994234,5cyclictest1696261-21cut10:25:012
161418999422,33cyclictest1654376-21ssh09:15:372
1614187994234,5cyclictest1615271-21mailstats07:10:410
1614187994218,15cyclictest12650irq/32-eth011:20:350
161418999413,13cyclictest1776863-21ssh12:35:422
1614189994114,2cyclictest0-21swapper/210:30:012
1614189994113,3cyclictest1642663-21kworker/u8:5+xprtiod08:45:012
161418999411,20cyclictest1660513-21rm09:25:342
161418999411,12cyclictest1616586-21ntpq07:15:352
1614188994135,3cyclictest1751370-21kworker/u8:12-xprtiod12:28:531
1614187994132,6cyclictest1705582-21latency_hist10:40:030
161418999403,17cyclictest1663592-21ssh09:30:392
161418999402,8cyclictest1773697-21ntpq12:30:352
161418999402,13cyclictest1700384-21ssh10:30:352
1614189994017,19cyclictest0-21swapper/212:00:372
1614189994015,2cyclictest0-21swapper/210:00:312
1614189994014,23cyclictest0-21swapper/211:55:402
161418999401,33cyclictest1709624-21ssh10:45:372
1614189994012,2cyclictest0-21swapper/212:25:242
161418999401,13cyclictest1627113-21ntpq07:50:342
161418999401,12cyclictest1628536-21ntpq07:55:352
1614187994018,15cyclictest151ktimers/007:45:330
1614189993915,3cyclictest351ktimers/210:45:022
1614189993914,3cyclictest0-21swapper/211:15:002
1614189993914,3cyclictest0-21swapper/211:15:002
1614189993914,3cyclictest0-21swapper/208:30:412
1614189993914,2cyclictest0-21swapper/210:05:282
1614189993912,3cyclictest0-21swapper/208:10:012
161418999391,14cyclictest1746185-21sh11:45:332
1614189993910,3cyclictest0-21swapper/208:58:022
1614188993934,2cyclictest0-21swapper/108:50:011
1614188993932,4cyclictest1617189-21sendmail07:20:011
1614187993920,12cyclictest12650irq/32-eth011:15:400
161418799391,34cyclictest1691129-21ssh10:15:340
161418999384,6cyclictest420-21avahi-daemon07:40:332
161418999382,8cyclictest1615018-21ntpq07:10:312
161418999382,12cyclictest1634504-21ntpq08:15:322
161418899384,7cyclictest171rcu_preempt09:55:381
1614188993829,5cyclictest1635178-21awk08:20:011
1614188993828,6cyclictest420-21avahi-daemon10:38:501
161418999374,8cyclictest1718663-21ntpq11:00:302
161418999374,8cyclictest1718663-21ntpq11:00:302
161418999373,7cyclictest1649543-21ntpq09:05:332
161418999371,15cyclictest1618144-21ntpq07:20:382
161418999371,15cyclictest1618144-21ntpq07:20:382
161418999371,14cyclictest1651286-21ssh09:10:362
1614189993711,3cyclictest0-21swapper/207:10:022
161418999371,12cyclictest1626359-21latency_hist07:50:032
1614188993729,5cyclictest1693165-21cron10:20:011
1614187993731,4cyclictest1656329-21sendmail09:20:000
1614187993730,4cyclictest1645664-21grep08:55:000
1614187993729,6cyclictest1749905-21ssh11:50:470
1614187993726,6cyclictest12750irq/33-eth011:00:360
1614187993726,6cyclictest12750irq/33-eth011:00:360
1614189993616,18cyclictest0-21swapper/211:30:332
1614189993613,3cyclictest0-21swapper/208:10:462
1614188993628,4cyclictest0-21swapper/112:10:351
1614188993628,4cyclictest0-21swapper/110:00:451
1614188993627,6cyclictest814995-21cups-browsed09:30:561
1614188993627,6cyclictest265-21systemd-journal12:20:011
1614188993627,5cyclictest1730698-21kernelversion11:20:281
1614188993624,8cyclictest1719179-21timerwakeupswit11:00:421
1614188993624,8cyclictest1719179-21timerwakeupswit11:00:421
1614187993629,4cyclictest1742785-21gltestperf11:40:270
1614187993629,4cyclictest1659426-21munin-plugin-st09:25:000
1614187993628,5cyclictest421-21dbus-daemon10:56:260
1614187993628,5cyclictest421-21dbus-daemon10:56:260
1614187993621,12cyclictest1760919-21aten2.4-expect12:10:240
161418999356,8cyclictest421-21dbus-daemon08:25:012
161418999353,7cyclictest1630088-21ntpq08:00:342
161418999352,10cyclictest814995-21cups-browsed08:50:302
161418899353,24cyclictest443-21gpm09:50:341
1614188993528,3cyclictest0-21swapper/112:05:451
1614188993527,5cyclictest1706517-21ntp_kernel_pll_10:40:361
1614188993526,6cyclictest601-21gmain07:55:371
1614188993516,13cyclictest271ktimers/110:05:411
1614187993529,3cyclictest0-21swapper/007:10:010
1614187993528,4cyclictest1687535-21aten_r2power_po10:10:230
1614188993427,3cyclictest0-21swapper/111:10:341
1614188993427,3cyclictest0-21swapper/111:10:341
1614188993426,5cyclictest1734558-21unixbench_multi11:25:431
1614188993425,6cyclictest421-21dbus-daemon11:40:011
1614188993422,5cyclictest1617640-21cpu07:20:251
1614188993422,5cyclictest1617640-21cpu07:20:251
1614187993428,4cyclictest1638039-21unixbench_multi08:25:440
1614187993425,6cyclictest1660879-21timerandwakeup09:25:430
1614188993327,3cyclictest0-21swapper/109:45:011
1614188993325,5cyclictest814995-21cups-browsed08:35:381
1614188993325,5cyclictest1700224-21missed_timers10:30:291
1614188993325,5cyclictest1699285-21cron10:30:011
1614188993325,3cyclictest0-21swapper/109:20:301
1614188993324,6cyclictest421-21dbus-daemon09:10:021
1614188993321,9cyclictest1650168-21diskmemload11:05:291
1614188993321,9cyclictest1650168-21diskmemload11:05:291
1614187993326,5cyclictest0-21swapper/009:40:210
1614187993324,7cyclictest694-21cron11:15:000
1614187993324,7cyclictest694-21cron11:15:000
1614187993324,7cyclictest441-21thd11:06:570
1614187993324,7cyclictest441-21thd11:06:570
1614187993319,8cyclictest12650irq/32-eth009:45:320
1614188993225,4cyclictest1754309-21munin-run12:00:011
1614188993225,4cyclictest1639688-21systemd-run08:35:011
1614188993225,3cyclictest0-21swapper/109:35:311
1614188993223,6cyclictest0-21swapper/111:45:021
1614188993223,4cyclictest0-21swapper/110:10:331
161418799327,4cyclictest171rcu_preempt07:50:320
1614187993224,5cyclictest1763814-21/usr/sbin/munin12:15:290
1614187993216,13cyclictest1617224-21latency_hist07:20:020
161418999315,16cyclictest958-21sendmail-mta09:00:392
1614188993125,3cyclictest0-21swapper/111:20:001
1614188993124,4cyclictest1694055-21latency10:20:311
1614188993124,4cyclictest0-21swapper/112:05:021
1614188993123,5cyclictest1650550-21head09:10:231
1614188993121,7cyclictest1660851-21timerandwakeup09:25:431
161418799313,22cyclictest1697326-21ssh10:25:350
1614187993126,3cyclictest0-21swapper/009:00:010
1614187993123,6cyclictest1642691-21systemd-run08:45:010
161418799311,26cyclictest1694336-21ssh10:20:390
1614188993024,3cyclictest0-21swapper/107:55:011
1614188993022,3cyclictest0-21swapper/112:35:351
161418899302,22cyclictest1654278-21ssh09:15:331
1614188993021,7cyclictest1621321-21switchtime07:30:441
1614187993022,5cyclictest420-21avahi-daemon11:37:210
161418799302,22cyclictest1650168-21diskmemload10:50:400
1614187993021,4cyclictest0-21swapper/011:45:350
1614187993016,8cyclictest12650irq/32-eth011:55:350
1614187993016,4cyclictest1003-21mta-sts-daemon12:35:210
1614187993010,14cyclictest12650irq/32-eth010:40:330
161418899298,6cyclictest62750lldpd12:30:411
1614188992922,5cyclictest1645551-21unixbench_multi08:50:431
1614187992923,4cyclictest1757463-21latency_hist12:05:020
161418799292,23cyclictest1737008-21ssh11:30:320
1614187992920,6cyclictest1709849-21switchtime10:45:440
1614187992916,10cyclictest0-21swapper/010:30:290
1614187992913,12cyclictest1000-21mta-sts-daemon08:15:390
1614188992819,6cyclictest441-21thd07:25:351
161418899281,23cyclictest1746246-21ssh11:45:361
161418799283,15cyclictest12650irq/32-eth012:20:340
1614187992824,2cyclictest0-21swapper/009:30:510
1614187992823,2cyclictest0-21swapper/012:25:160
1614187992820,6cyclictest1620846-21latency07:30:300
1614187992820,5cyclictest1682544-21sed10:00:450
1614187992819,7cyclictest1630011-21sshd08:00:310
1614187992818,8cyclictest1648692-21systemd-run09:05:010
1614187992817,8cyclictest1629204-21munin-run08:00:020
1614187992817,6cyclictest1650168-21diskmemload12:05:310
1614189992718,5cyclictest1621661-21cron07:35:002
1614188992719,5cyclictest1648668-21cron09:05:001
1614188992714,10cyclictest265-21systemd-journal08:05:351
161418899271,18cyclictest1709609-21ssh10:45:371
1614187992722,3cyclictest0-21swapper/009:55:010
1614187992721,3cyclictest0-21swapper/008:30:340
1614187992720,4cyclictest1680147-21pool-nm-online09:57:450
161418799271,17cyclictest1650168-21diskmemload09:35:320
1614188992620,3cyclictest1002-21mta-sts-daemon07:35:261
161418799262,17cyclictest151ktimers/008:05:310
1614187992621,3cyclictest1001-21mta-sts-daemon12:32:190
1614187992620,4cyclictest1651365-21ssh09:10:400
1614187992618,6cyclictest1623130-21sshd07:35:510
1614187992615,8cyclictest151ktimers/010:05:230
1614187992611,11cyclictest151ktimers/008:10:360
1614188992520,3cyclictest0-21swapper/108:20:471
1614188992516,6cyclictest814995-21cups-browsed07:40:441
1614187992519,3cyclictest1619199-21fschecks_count07:25:230
1614188992419,2cyclictest0-21swapper/108:55:381
1614188992418,3cyclictest0-21swapper/108:40:351
1614188992416,5cyclictest1625077-21aten_r2power_vo07:45:211
1614188992416,4cyclictest0-21swapper/108:25:331
1614187992419,3cyclictest1003-21mta-sts-daemon07:40:350
1614188992315,5cyclictest1614198-21systemd-run07:10:011
161418799232,15cyclictest1636082-21ntpq08:20:340
1614187992310,10cyclictest421-21dbus-daemon07:20:110
1614187992310,10cyclictest421-21dbus-daemon07:20:110
1614188992212,7cyclictest1630711-21cat08:05:021
161418799221,9cyclictest1640060-21aten_r2power_vo08:35:250
161418799221,18cyclictest1649641-21ntp_states09:05:390
161418899218,10cyclictest271ktimers/107:10:331
161418799212,13cyclictest1643597-21ntpq08:45:360
161419099202,7cyclictest0-21swapper/312:05:333
161419099192,8cyclictest0-21swapper/312:20:313
161419099174,6cyclictest0-21swapper/310:05:363
161419099173,8cyclictest0-21swapper/310:15:413
161419099172,8cyclictest0-21swapper/310:00:393
161419099172,7cyclictest0-21swapper/310:10:353
161419099171,7cyclictest0-21swapper/311:20:403
161419099162,8cyclictest0-21swapper/312:10:323
161419099162,8cyclictest0-21swapper/308:55:013
161419099162,7cyclictest0-21swapper/311:40:373
161419099162,7cyclictest0-21swapper/311:35:423
161419099162,7cyclictest0-21swapper/310:35:333
161419099162,7cyclictest0-21swapper/309:25:313
161419099153,6cyclictest0-21swapper/311:00:353
161419099153,6cyclictest0-21swapper/311:00:353
161419099152,8cyclictest0-21swapper/307:40:333
161419099151,7cyclictest0-21swapper/312:25:353
161419099151,7cyclictest0-21swapper/309:15:293
161419099147,4cyclictest0-21swapper/310:50:353
161419099147,4cyclictest0-21swapper/309:20:383
161419099142,7cyclictest0-21swapper/309:10:283
161419099142,5cyclictest0-21swapper/308:55:333
161419099142,5cyclictest0-21swapper/308:40:303
161419099141,7cyclictest0-21swapper/311:25:303
161419099141,7cyclictest0-21swapper/311:10:273
161419099141,7cyclictest0-21swapper/311:10:273
161419099141,7cyclictest0-21swapper/310:55:333
161419099141,7cyclictest0-21swapper/310:55:333
161419099141,7cyclictest0-21swapper/309:30:373
161419099141,6cyclictest0-21swapper/310:25:223
161419099141,6cyclictest0-21swapper/309:00:363
161419099141,6cyclictest0-21swapper/308:00:313
161419099137,4cyclictest0-21swapper/311:30:353
161419099137,4cyclictest0-21swapper/308:45:333
161419099137,4cyclictest0-21swapper/308:05:263
161419099136,5cyclictest0-21swapper/311:55:233
161419099136,4cyclictest0-21swapper/312:35:273
161419099136,4cyclictest0-21swapper/310:00:013
161419099136,4cyclictest0-21swapper/308:30:413
161419099135,5cyclictest0-21swapper/310:40:433
161419099133,6cyclictest0-21swapper/309:45:223
161419099132,7cyclictest0-21swapper/311:05:363
161419099132,7cyclictest0-21swapper/311:05:363
161419099131,7cyclictest0-21swapper/310:20:383
161419099131,6cyclictest0-21swapper/312:30:353
161419099131,6cyclictest0-21swapper/308:15:363
161419099131,5cyclictest0-21swapper/307:15:323
161419099127,3cyclictest0-21swapper/311:15:273
161419099127,3cyclictest0-21swapper/308:35:273
161419099126,4cyclictest0-21swapper/310:30:293
161419099126,4cyclictest0-21swapper/308:25:253
161419099126,4cyclictest0-21swapper/308:10:413
161419099126,4cyclictest0-21swapper/307:30:283
161419099126,4cyclictest0-21swapper/307:10:303
161419099123,4cyclictest0-21swapper/307:20:353
161419099123,4cyclictest0-21swapper/307:20:353
161419099122,6cyclictest0-21swapper/309:50:233
161419099122,5cyclictest0-21swapper/312:00:243
161419099121,6cyclictest0-21swapper/309:35:323
161419099121,5cyclictest0-21swapper/309:05:333
161419099116,3cyclictest0-21swapper/312:15:393
161419099116,3cyclictest0-21swapper/311:45:243
161419099116,3cyclictest0-21swapper/309:40:293
161419099116,3cyclictest0-21swapper/307:10:013
161419099111,6cyclictest0-21swapper/311:50:243
161419099111,6cyclictest0-21swapper/310:45:273
161419099111,6cyclictest0-21swapper/308:20:333
161419099111,6cyclictest0-21swapper/307:35:403
161419099105,3cyclictest0-21swapper/307:55:283
161419099105,3cyclictest0-21swapper/307:25:403
161419099102,5cyclictest0-21swapper/307:50:243
16141909994,3cyclictest0-21swapper/307:45:083
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional