You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-06-28 - 21:06

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #b, slot #5

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  Phytec
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackbslot5s.osadl.org (updated Sat Jun 28, 2025 12:44:48)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1630591995935,20cyclictest1738373-21sendmail12:20:002
1630591995745,8cyclictest1745184-21sh12:40:002
1630596995042,5cyclictest1700425-21munin-plugin-st10:30:013
1630591994631,10cyclictest311ktimers/207:10:192
1630582994538,4cyclictest1655227-21sendmail08:20:000
1630591994431,9cyclictest311ktimers/211:55:142
1630591994431,9cyclictest311ktimers/211:55:132
1630591994333,5cyclictest0-21swapper/210:00:002
1630596994235,5cyclictest1694939-21kworker/u8:1+events_unbound10:11:243
1630596994230,7cyclictest1736171-21grep12:10:283
163059199428,30cyclictest1659852-21unixbench_multi08:30:282
163059199421,10cyclictest1633573-21/usr/sbin/munin07:15:232
1630596994131,7cyclictest391ktimers/311:20:183
1630591994129,9cyclictest1651798-21idleruntime-cro08:10:012
1630591994122,15cyclictest0-21swapper/210:05:282
163059199411,9cyclictest1673091-21/usr/sbin/munin09:10:202
163059199411,9cyclictest1666755-21/usr/sbin/munin08:50:282
163059199411,8cyclictest1723141-21/usr/sbin/munin11:35:172
163059199411,6cyclictest1742679-21/usr/sbin/munin12:30:242
1630591994111,26cyclictest1638551-21fschecks_count07:30:172
163059199411,10cyclictest1738613-21apt-get12:20:152
163059199411,10cyclictest1694037-21sort10:10:172
1630587994134,4cyclictest1702055-21kworker/u8:2+events_unbound10:36:271
1630587994134,4cyclictest1679320-21munin-plugin-st09:30:011
1630587994134,4cyclictest1679320-21munin-plugin-st09:30:001
1630587994130,9cyclictest231ktimers/112:20:151
1630596994029,7cyclictest1663738-21sh08:45:013
163059699402,4cyclictest131rcu_preempt10:20:153
163059199403,5cyclictest1728477-21df_inode11:50:202
163059199403,5cyclictest1728477-21df_inode11:50:192
163059199401,9cyclictest1713153-21/usr/sbin/munin11:05:242
163059199401,9cyclictest1681914-21/usr/sbin/munin09:35:242
163059199401,6cyclictest1660848-21/usr/sbin/munin08:35:232
163059199401,5cyclictest1648865-21/usr/sbin/munin08:00:192
163059199401,5cyclictest1637133-21meminfo07:25:202
1630587994033,4cyclictest1722810-21munin-plugin-st11:35:001
1630582994031,6cyclictest1670146-21unixbench_singl09:00:290
1630596993931,4cyclictest1638163-21munin-run07:30:013
1630596993928,7cyclictest0-21swapper/312:40:013
163059199393,4cyclictest1707149-21cron10:49:002
163059199393,4cyclictest1697699-21/usr/sbin/munin10:20:222
1630591993928,5cyclictest0-21swapper/212:11:532
163059199391,8cyclictest1695526-21/usr/sbin/munin10:15:292
163059199391,8cyclictest1688497-21latency_hist09:55:002
163059199391,8cyclictest1645211-21/usr/sbin/munin07:50:342
163059199391,7cyclictest1717198-21grep11:15:312
163059199391,6cyclictest1674954-21tr09:15:222
163059199391,6cyclictest1641928-21entropy07:40:182
163059199391,6cyclictest1635098-21/usr/sbin/munin07:20:212
163059199391,5cyclictest1707819-21/usr/sbin/munin10:50:232
163059199391,5cyclictest1699045-21/usr/sbin/munin10:25:192
1630591993910,26cyclictest1678875-21unixbench_singl09:25:262
1630591993910,26cyclictest1678875-21unixbench_singl09:25:262
1630591993910,26cyclictest1644523-21unixbench_multi07:45:302
1630591993829,5cyclictest1672378-21latency_hist09:10:012
163059199382,8cyclictest1663365-21users08:40:372
163059199382,3cyclictest1714592-21/usr/sbin/munin11:10:182
163059199381,8cyclictest1726659-21/usr/sbin/munin11:45:252
163059199381,8cyclictest1700656-21/usr/sbin/munin10:30:142
163059199381,8cyclictest1664459-21sed08:45:222
163059199381,6cyclictest1684486-21sshd09:40:412
163059199381,5cyclictest1725591-21/usr/sbin/munin11:40:242
163059199381,5cyclictest1692072-21latency_hist10:05:012
163059199381,5cyclictest1685618-21tr09:45:232
163059199381,11cyclictest1647370-21cat07:55:212
163059199381,11cyclictest1640231-21fschecks_count07:35:192
163059199381,10cyclictest1702475-21diskstats10:35:202
1630596993726,8cyclictest1646685-21munin-plugin-st07:55:003
163059199373,8cyclictest1721218-21cat11:30:012
1630591993729,5cyclictest1670554-21cron09:05:002
163059199371,9cyclictest1731887-21df12:00:162
163059199371,9cyclictest1667486-21df08:55:172
163059199371,9cyclictest1653030-21grep08:10:302
163059199371,8cyclictest1735087-21date12:10:002
163059199371,12cyclictest1741381-21head12:25:302
163059199370,8cyclictest1654509-21switchtime08:15:282
1630596993629,5cyclictest1665425-21kworker/u8:1+events_unbound08:51:173
1630596993615,5cyclictest1681784-21kworker/u8:0+events_unbound09:55:213
163059199369,25cyclictest1710896-21/usr/sbin/munin11:00:302
163059199363,8cyclictest1718085-21cut11:20:202
163059199362,5cyclictest0-21swapper/211:30:132
163059199361,9cyclictest1709290-21df_inode10:55:162
163059199361,6cyclictest1657157-21/usr/sbin/munin08:25:172
163059199361,5cyclictest630-21snmpd09:33:152
163059199361,4cyclictest1676677-21grep09:20:222
163059199361,4cyclictest1676677-21grep09:20:212
1630587993627,6cyclictest0-21swapper/108:55:001
1630582993629,4cyclictest0-21swapper/012:19:590
1630582993628,5cyclictest0-21swapper/009:35:000
1630582993627,6cyclictest0-21swapper/011:25:290
1630596993528,4cyclictest1686733-21latency_hist09:50:013
1630596993528,3cyclictest0-21swapper/307:40:273
1630596993527,4cyclictest0-21swapper/311:45:293
1630596993527,4cyclictest0-21swapper/309:25:273
1630596993527,4cyclictest0-21swapper/309:25:263
1630596993526,6cyclictest0-21swapper/308:40:013
1630596993525,6cyclictest1680813-21grep09:30:323
163059199352,5cyclictest1656914-21cron08:25:002
163059199352,5cyclictest1656914-21cron08:25:002
163059199351,7cyclictest1704071-21/usr/sbin/munin10:40:222
1630582993525,6cyclictest0-21swapper/010:25:310
1630582993524,7cyclictest1683597-21tune2fs09:40:210
1630587993426,4cyclictest0-21swapper/107:50:011
1630582993425,6cyclictest0-21swapper/008:25:010
1630582993425,6cyclictest0-21swapper/008:25:010
1630582993425,6cyclictest0-21swapper/007:45:000
1630582993424,6cyclictest0-21swapper/012:20:290
1630582993424,6cyclictest0-21swapper/009:10:280
1630582993424,5cyclictest0-21swapper/008:30:000
163058299341,5cyclictest131rcu_preempt11:35:140
1630596993326,5cyclictest1722749-21kworker/u8:0+events_unbound11:56:513
1630596993326,5cyclictest1722749-21kworker/u8:0+events_unbound11:56:513
1630596993325,4cyclictest0-21swapper/312:25:293
1630596993325,4cyclictest0-21swapper/311:35:193
1630596993323,7cyclictest0-21swapper/307:30:283
1630596993323,6cyclictest0-21swapper/307:45:293
1630596993321,7cyclictest0-21swapper/311:10:303
1630587993325,4cyclictest0-21swapper/112:16:521
1630587993323,6cyclictest1672879-21grep09:10:181
1630582993325,5cyclictest0-21swapper/008:00:010
1630587993224,5cyclictest1731387-21kworker/u8:2+events_unbound12:11:541
1630587993222,7cyclictest1702113-21sh10:35:001
1630582993224,4cyclictest0-21swapper/009:05:290
1630582993223,6cyclictest1668527-21sshd08:56:160
1630582993223,5cyclictest0-21swapper/011:05:000
1630582993222,6cyclictest0-21swapper/012:35:280
1630582993222,6cyclictest0-21swapper/011:25:010
1630582993222,6cyclictest0-21swapper/011:15:320
1630582993222,6cyclictest0-21swapper/010:25:010
1630596993124,5cyclictest1656661-21kworker/u8:1+events_unbound08:23:133
1630596993124,5cyclictest1656661-21kworker/u8:1+events_unbound08:23:123
1630596993124,4cyclictest0-21swapper/312:15:303
1630587993125,4cyclictest1741541-21kworker/u8:0+events_unbound12:30:041
1630587993123,6cyclictest1630187-21kworker/u8:0+events_unbound07:35:281
1630587993123,4cyclictest0-21swapper/112:00:001
1630587993123,4cyclictest0-21swapper/111:59:591
1630587993123,4cyclictest0-21swapper/111:20:201
1630587993122,6cyclictest1668527-21sshd08:56:161
1630587993122,6cyclictest0-21swapper/108:35:001
1630587993122,5cyclictest0-21swapper/107:25:261
1630587993121,6cyclictest0-21swapper/111:30:001
1630587993121,6cyclictest0-21swapper/109:35:291
1630582993123,5cyclictest0-21swapper/010:04:590
1630582993123,4cyclictest0-21swapper/011:59:590
1630582993123,4cyclictest0-21swapper/011:59:590
1630582993121,6cyclictest0-21swapper/010:35:290
1630596993016,4cyclictest1631984-21kworker/u8:2+events_unbound07:20:173
1630587993023,3cyclictest0-21swapper/111:15:311
1630587993022,4cyclictest0-21swapper/107:30:271
1630587993021,7cyclictest1722749-21kworker/u8:0+events_unbound11:51:501
1630587993021,7cyclictest1722749-21kworker/u8:0+events_unbound11:51:501
1630587993021,7cyclictest1707220-21kworker/u8:0-ext4-rsv-conversion11:05:001
1630587993020,6cyclictest1727681-21grep11:45:281
1630587993019,8cyclictest1632301-21munin-node07:15:011
1630587993017,8cyclictest1642809-21grep07:40:271
1630582993023,4cyclictest1682934-21munin-run09:40:000
1630582993021,6cyclictest0-21swapper/010:40:280
1630582993020,7cyclictest440-21cron09:50:000
1630582993020,6cyclictest0-21swapper/011:30:270
1630582993019,6cyclictest0-21swapper/007:45:290
1630596992923,4cyclictest1702055-21kworker/u8:2+events_unbound10:54:333
1630596992921,4cyclictest0-21swapper/311:40:163
1630596992920,4cyclictest0-21swapper/310:55:193
1630596992918,7cyclictest0-21swapper/309:40:003
163059699291,4cyclictest131rcu_preempt11:25:173
163058799292,23cyclictest1654738-21grep08:15:301
1630587992920,6cyclictest1714673-21fschecks_count11:10:211
1630582992920,5cyclictest0-21swapper/007:30:280
1630582992919,6cyclictest1661580-21grep08:35:300
1630582992919,6cyclictest0-21swapper/007:30:020
1630582992918,6cyclictest0-21swapper/011:50:310
1630582992918,6cyclictest0-21swapper/011:50:300
1630582992918,6cyclictest0-21swapper/010:55:280
1630582992917,6cyclictest0-21swapper/009:20:260
1630582992917,6cyclictest0-21swapper/009:20:260
1630596992822,3cyclictest1714277-21kthreadd11:09:593
1630596992821,5cyclictest1663640-21kworker/u8:0+events_unbound08:56:173
1630596992821,4cyclictest0-21swapper/309:40:313
1630596992818,7cyclictest1653896-21fschecks_count08:15:203
1630596992818,6cyclictest0-21swapper/308:45:283
1630587992821,4cyclictest0-21swapper/110:10:281
1630587992820,4cyclictest0-21swapper/110:15:191
1630587992818,6cyclictest0-21swapper/109:30:311
1630582992821,4cyclictest13650irq/42-30be0000.ethernet10:05:270
1630582992820,5cyclictest0-21swapper/007:20:290
1630582992818,7cyclictest1726245-21latency_hist11:45:010
1630582992818,6cyclictest0-21swapper/010:50:320
1630582992818,6cyclictest0-21swapper/008:10:000
1630582992817,7cyclictest0-21swapper/008:00:190
1630596992722,3cyclictest1706506-21mailstats10:45:263
1630596992721,3cyclictest1675634-21cron09:17:013
1630596992720,5cyclictest1668560-21kworker/u8:2+events_unbound09:05:253
1630596992720,5cyclictest1636045-21kworker/u8:1+events_unbound07:35:453
1630596992720,4cyclictest0-21swapper/311:50:313
1630596992720,4cyclictest0-21swapper/311:50:303
1630596992720,3cyclictest0-21swapper/312:25:003
1630596992720,3cyclictest0-21swapper/309:21:203
1630596992720,3cyclictest0-21swapper/309:21:203
1630596992719,6cyclictest1707220-21kworker/u8:0+events_unbound11:16:423
1630596992719,4cyclictest0-21swapper/309:00:293
1630596992718,6cyclictest1693128-21unixbench_multi10:05:273
1630587992720,4cyclictest1675880-21cron09:20:001
1630587992720,4cyclictest0-21swapper/110:20:281
1630587992719,5cyclictest1681784-21kworker/u8:0+events_unbound09:55:181
1630587992718,6cyclictest1658208-21grep08:25:291
1630587992717,6cyclictest0-21swapper/109:55:001
1630582992718,6cyclictest0-21swapper/009:30:010
1630582992718,6cyclictest0-21swapper/009:30:000
163059699262,5cyclictest131rcu_preempt10:00:183
1630596992620,3cyclictest0-21swapper/311:00:263
1630596992618,6cyclictest1648279-21kworker/u8:0+events_unbound08:06:263
1630596992618,4cyclictest0-21swapper/307:15:183
163059699261,13cyclictest1649470-21/usr/sbin/munin08:00:293
1630587992620,4cyclictest1707220-21kworker/u8:0+events_unbound10:56:361
1630587992620,4cyclictest1661892-21kworker/u8:2+events_unbound08:46:171
1630587992618,4cyclictest0-21swapper/109:00:201
1630587992617,6cyclictest0-21swapper/110:45:281
1630587992616,5cyclictest165-21systemd-journal08:00:461
1630587992615,8cyclictest1699923-21cat10:25:311
1630582992621,3cyclictest13650irq/42-30be0000.ethernet07:10:180
1630582992616,6cyclictest0-21swapper/010:35:000
1630582992615,8cyclictest1696180-21processes10:15:270
1630596992519,4cyclictest1720930-21kworker/u8:1+events_unbound11:30:543
1630596992519,4cyclictest1656661-21kworker/u8:1+events_unbound08:26:063
1630596992519,3cyclictest0-21swapper/309:10:193
1630596992518,4cyclictest0-21swapper/312:05:293
1630596992517,5cyclictest391ktimers/312:32:173
1630587992518,3cyclictest0-21swapper/111:10:011
1630587992516,6cyclictest1686785-21gpgv09:50:021
1630587992516,5cyclictest0-21swapper/109:25:011
1630587992516,5cyclictest0-21swapper/109:25:001
1630587992515,8cyclictest1744144-21sed12:35:201
1630587992514,8cyclictest1708210-21tr10:50:291
163058299252,4cyclictest131rcu_preempt08:40:140
1630582992518,4cyclictest0-21swapper/008:30:270
1630582992518,4cyclictest0-21swapper/007:15:270
1630582992516,6cyclictest0-21swapper/010:50:010
1630582992516,5cyclictest0-21swapper/009:51:420
1630582992514,8cyclictest1741016-21cat12:25:280
163059699249,3cyclictest131rcu_preempt07:15:013
1630596992418,4cyclictest1650045-21kworker/u8:2+events_unbound08:11:393
1630596992417,4cyclictest440-21cron10:40:003
1630596992417,3cyclictest0-21swapper/309:50:293
163058799248,8cyclictest131rcu_preempt12:00:141
1630587992418,4cyclictest1677290-21kworker/u8:1+events_unbound09:41:241
1630587992418,3cyclictest0-21swapper/107:15:031
1630587992416,5cyclictest0-21swapper/107:55:271
1630582992417,4cyclictest0-21swapper/008:10:280
1630582992416,5cyclictest0-21swapper/007:55:000
1630582992414,6cyclictest0-21swapper/008:45:120
163058299241,19cyclictest0-21swapper/012:12:460
163058299241,19cyclictest0-21swapper/009:57:240
163058299241,19cyclictest0-21swapper/009:15:100
1630596992316,5cyclictest1698449-21kworker/u8:0+events_unbound10:30:173
1630596992316,4cyclictest0-21swapper/310:40:263
1630596992316,3cyclictest0-21swapper/310:20:003
1630587992317,4cyclictest1668560-21kworker/u8:2+events_unbound09:08:571
1630587992317,3cyclictest0-21swapper/108:20:271
1630587992317,3cyclictest0-21swapper/108:20:261
1630587992317,3cyclictest0-21swapper/108:05:271
1630587992316,4cyclictest231ktimers/110:44:491
1630587992315,5cyclictest0-21swapper/108:40:371
1630587992314,7cyclictest1719174-21kworker/u8:2+events_unbound11:36:481
1630587992314,6cyclictest0-21swapper/108:36:501
1630587992312,8cyclictest1653001-21cat08:10:291
163058299231,9cyclictest1726667-21taskset11:45:160
1630582992317,3cyclictest0-21swapper/007:35:230
163058299230,19cyclictest0-21swapper/012:00:170
1630596992216,3cyclictest0-21swapper/308:30:253
1630587992217,2cyclictest0-21swapper/110:05:271
1630587992216,4cyclictest1720930-21kworker/u8:1+events_unbound11:40:201
1630587992216,3cyclictest0-21swapper/112:25:291
1630587992216,3cyclictest0-21swapper/107:50:321
1630587992216,3cyclictest0-21swapper/107:20:201
1630587992215,3cyclictest0-21swapper/110:00:161
163058299221,3cyclictest1742012-21apt-get12:30:130
163058299221,3cyclictest0-21swapper/008:54:110
163058299221,19cyclictest0-21swapper/011:09:080
163058299220,18cyclictest0-21swapper/011:12:240
1630596992114,5cyclictest1731387-21kworker/u8:2+events_unbound12:00:253
1630596992114,5cyclictest1644827-21kworker/u8:1+events_unbound07:55:223
1630587992012,5cyclictest1733608-21entropy12:05:191
163058299200,18cyclictest0-21swapper/012:07:200
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional